canal
青灯伴古佛
这个作者很懒,什么都没留下…
展开
-
Canal 发送到kafka多分区保证数据结果一致性
一、mq顺序性问题1. canal目前选择支持的kafka/rocketmq,本质上都是基于本地文件的方式来支持了分区级的顺序消息的能力,也就是binlog写入mq是可以有一些顺序性保障,这个取决于用户的一些参数选择2. canal支持MQ数据的几种路由方式:单topic单分区,单topic多分区、多topic单分区、多topic多分区canal.mq.dynamicTopic,主要控制是否是单topic还是多topic,针对命中条件的表可以发到表名对应的topic、库名对应的topic、默认top原创 2020-12-24 17:36:51 · 4253 阅读 · 3 评论 -
Canal有关dynamicTopic出现的INVALID_TOPIC_EXCEPTION问题
INVALID_TOPIC_EXCEPTION产生原因分析亲测有效(虽然不一定是最完美的解决办法)1 .topic命名原则topic命名最好不要带下划线"_",容易和kafka默认topic产生冲突2.注意canal.mq.dynamicTopic的使用①canal.instance.filter.regex,后面配置该mysql下,你要监听的数据库下的对应的表,例如canal.instance.filter.regex=user1.table1,user2.table2,user3.table原创 2020-08-13 10:38:12 · 2531 阅读 · 0 评论 -
Canal的快速安装部署
Canal解析MySQL 5.7的binloghttps://github.com/alibaba/canal1.配置Linux的yum源1.0删除老版本的MySQLyum remove mysql mysql-serverrm -rf /var/lib/mysql 1.1在命令行中执行如下的命令,添加MySQL5.7的yum源cat >> /etc/yum.repos.d/mysql57.repo << EOF[mysql57-community]name=My原创 2020-08-12 15:48:52 · 465 阅读 · 0 评论