CANAL在配置中指定BINLOG文件以及POSITION定位读取

问题:

今天在测试环境发现,各服务能收到canal的通知,但是没有影响的数据内容。

开始以为是应用程序问题,排查后发现有多个应该都是这个情况。所以怀疑是canal问题。

 

先说一下系统的实现情况:

mysql---(binlog)--->canal------>canal消费端---->kafka----->应用程序消费数据

 

处理步骤:

1、查询canal的日志(canal有两个日志,一个是meta.log一个是example.log)

 

第一个example.log日志,比较直接的打印了错误的信息,是因为表冲突导致

第二个meta.log日志,我们可以发现canal一直在同步一行记录,没有获取最新的binlog(导致环境删除表导致)。

 

2、问题找到了,那接下来就是解决了。因为是测试环境,所以想要直接跨过这个binlog就好了,那怎么操作呢?

t1、查询mysql的binlog情况

      登录mysql数据库,查看binlog信息     

show binary logs ;

查看指定日志的详情

show binlog events in 'mysql-bin.000035';

     

这个可以理解是一个行的起始编号,后面需要用到。

 t2、修改canal配置

    binlog文件找到了,起始号也找到了,那就是修改canal配置了

vi /canal/conf/example/meta.dat

  将1处修改为binlog的文件名

  将2处修改为binlog中的行超始编号

t3、重启canal服务

   上面配置好后,我们就可以重启canal确认是否在消息了(canal的客户端要注意了,如果客户端没有启动,这个日志也会没有的,特别注意!!!!)。

 tail -f /canal/logs/example/meta.log

 

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值