系统宕机读取binlog偏移量失效?

在将大量MySQL数据迁移到Elasticsearch后,发现系统停机时数据库更新未同步。问题出在代码监听binlog日志时,未正确获取binlogFilename,导致初始化时无法从redis获取偏移量。通过修正代码,仅使用binlogPosition完成功能,解决了数据不一致的问题。
摘要由CSDN通过智能技术生成

需求背景:

勇敢的打工人,新年前最后一天班,接到线上需求。最近把mysql大量数据迁移进入elasticsearch,一切正常,但出现一个bug,当系统停机发布时候,mysql数据库更改的数据,不会被系统监听到,导致数据不一致。

于是 勇敢的打工人 开始排查。

流程梳理分析原因:

查看代码后梳理流程:

1、代码是通过引入shyiko包来监听mysql的binlog日志,只监听关注的两张表。

2、既然是监听binlog所以必须保证binlog日志是开启状态,通过命令可以看到是开启状态。

3、 根据不同的策略处理增删查改。

4、重点偏移量来了,是从事件里的header获取到binlogFilename,binlogPosition。

5、每次监听到binlog日志变动,就会更新redis偏移量值,当下次初始化的时候,会从redis获取里面的偏移量值。

排查后发现,代码里并没有获取到binlogFilename,导致每次初始化没有从redis中获取到数据,于是把binlogFilename判断去掉,用position来完成功能。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

后端从入门到精通

你的鼓励是我最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值