通过RDS事件数据同步来看不同软件工程师的区别

最新推荐文章于 2024-07-13 15:14:03 发布

谦蓦

最新推荐文章于 2024-07-13 15:14:03 发布

阅读量471

点赞数

分类专栏： -- 技术栈-Java篇文章标签： Java 架构设计数据同步

本文链接：https://blog.csdn.net/qq_17776287/article/details/103334101

版权

-- 技术栈-Java篇专栏收录该内容

28 篇文章 0 订阅

订阅专栏

由彼观彼，而不是由己观彼。

开始前，扯些许的题外话。我们经常会看到一些类似于初、中、高级软件工程师的区别的文章，觉得高级会如何，初中级又会如何，我们此次就不区分title，而是通过经验丰富与否、考虑问题是否全面、做事是否稳重来展开。

在这里插入图片描述

1.问题描述

有这样一个需求，我们需要在国内WEB端新增的事件数据，不仅要写入国内的RDS，同时也要同步到国外的三个不同地点的RDS中（不可采用@scheduled方式进行定时同步）。

2.如何做数据同步呢？步骤？代码逻辑？

先来看一个步骤图：

在这里插入图片描述

再来看一段伪代码（以下代码仅供参考，只是伪代码，不是标准Java代码）：
- (1) 写入国内RDS、同步到国外其他RDS以及对应事务控制

@Transactional(rollbackFor = Exception.class)
void newEvent(event) throws Exception {
    insertEventIntoInlandRds(event);
    asyncEventToOtherRds(event); // 异步同步数据
}

(2) 同步失败重试以及重试结果记录

class CustomAsyncExceptionHandler implements AsyncUncaughtExceptionHandler {
  public void handleUncaughtException(Throwable throwable, Method method, Object... objects) {
      retry 5 times
      label = succeed after retring 5 times
      if label:
        insert async table successful label
      else:
        insert async table failed label and data
  }
}

3.潜在问题探讨

通过上述方式，想必有一批直接使用Spring Boot做项目开发的工程师，都自以为标注上@Transactional就可以了，就会失败回滚，也不需要什么补救措施，那你就大错特错了。@Transactional支持的是单体应用，远程IO已经脱离了它的控制。

其次，同步失败，重试5次没问题，那同步概况记录表应该放在哪里呢？那些分别放到不同地域分别建立同步概况表的就不想说什么了，retry都失败了，你写入同步概况到国外RDS就一定能成功吗？答案是不能！所以记录同步概况的表当然需要放在主RDS里面（这里主从是相对概念，从A同步到B，则A是主；如果从C同步到A，则C是主），也就是国内RDS。

再次，如果asyncEventToOtherRds调用失败，导致newEvent事务回滚，所以insertEventIntoInlandRds也回滚，也就是国内RDS没有event这条记录了，但是海外还在不断retry，海外可能的结果是失败 or 成功。此时，会存在两种不同情况：1)海外同步失败，则国内外数据是一致的；2）海外同步成功，则国内外数据就是不一致的。所以这里存在的问题就是事务回滚却没有数据探测以及补偿措施。

然后，如果retry了5次仍然失败了，那该如何处理呢？这里同样需要有一定的补偿措施，而不是简单的记录一下失败同步记录和数据就完事大吉，长此以往，累积同步失败记录多了一定会出大问题的。

最后，就是这样的设计明显是没有完全理解业务的主次，没有做好责任划分和事务隔离。需要在保证国内RDS一定写入成功，提交事务后，再进行海外RDS数据同步，这样我们就可以针对性对症下药处理即可，而不用一边考虑国内失败如何，海外又失败如何，尽量责任单一。