![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
canal
文章平均质量分 67
施小赞
人生苦短,我爱Java
展开
-
通过kafka,canal进行数据异构同步的一套技术方案
业务背景说明:本公司有一个业务场景是需要从A数据库异构同步至B数据库,在B数据库进行一些逻辑统计查询操作,大致如下图:当时设计的技术架构如下:第一步:通过canal监听A库的binlog日志,将binlog日志信息发送至kafka消息队列第二步:部署由纯java编写的canal-kafka工程,消费kafka消息,异构原始数据,落B库,canal-kafka可以多节点分片部署该方案咋一看可能存在一些问题,如同步性能如何,sql执行顺序问题如何保证,下面一一解答.原创 2021-11-01 14:46:14 · 1898 阅读 · 2 评论 -
安装部署canal
准备对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,my.cnf 中配置如下[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复 注意:针对阿里云 RDS for MySQL , 默认打开了 binlog , 并且账号默原创 2021-08-05 21:42:06 · 244 阅读 · 0 评论