【数据同步】主从数据源场景下的数据同步校验问题

今天遇到一个问题

场景:数据进行跨区同步,落到目标端写入目标数据库后,再从目标库中取出数据来做签名,上报到中继节点来做同步校验。

现象:但是在部分情况下,从目标库中取出的数据存在问题,INSERT类型的同步数据取出来是空的,UPDATE类型的同步数据取出来是旧值。

定位:数据的落地链路是一个同步的过程并不是异步,因此不存在先读后写的可能性;数据的确已经写入库中才进行的取数据。

那么,上层逻辑上并没有问题,只剩下数据库的可能性;因为使用的是动态数据源来实现读写分离,目标库采用的是主从模式,那么真相只有一个 ----> 数据在写入主库后,自身业务逻辑处理过快,从库还未同步到主库数据,业务逻辑上就进行了一次读取,从而读取到了老数据!

影响:由于去查的是源端的最新数据,且目标端消费保证有序,那么在并发更新数据的时候也仍然能保证数据最终一致;但是因为中继节点发现签名值不一致后,会去源端查询元数据再进行一次重发,从而多耗费一些流量

解决之道:暂时没有想到什么更好的办法,先记录一下,期待大佬解惑

  • 数据写入目标库后sleep一下再读取。必然造成消费速度的下降,数据同步速度随之变慢。
  • 将读取数据来做签名然后上报这个动作独立出来,通过异步的方式缓冲一下。仍然是被动性的感知从库同步主库数据的时间差。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值