深入理解Canal

目录

1、Canal介绍

1.1、什么是Canal

2、Canal 工作原理

2.1、先理解mysql主从复制原理

2.2、canal 工作原理

3、Canal异常处理

4、Canal处理大数据量同步方法

---

1、Canal介绍

1.1、什么是Canal

Canal是一款基于数据库增量日志订阅和消费的开源产品，它能够捕获数据库的变更数据，并把这些变更数据传递给其他系统。（官网目前只支持mysql，支持pg等得用插件）

它的作用是实时监控数据库变更，并将变更数据传输给其他系统，用于数据同步、数据分析等场景

2、Canal 工作原理

2.1、先理解mysql主从复制原理

• MySQL master 将数据变更（插入、更新、删除）写入二进制日志binary log（binlog）
• MySQL slave 将 master 的 binlog 拷贝到它的中继日志relay log
• MySQL slave 将这些操作在自身执行一遍，从而使得从库的数据与主库保持一致

2.2、canal 工作原理

• canal 伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binlog 给 canal
• canal 解析binlog 数据

3、Canal异常处理

（1）容错机制

Canal 会记录已经同步的 binlog 位置，当出现网络中断、从库宕机等情况时，能够在重连后从上次同步的位置继续同步，确保数据的完整性

（2）监控报警

（3）数据重放

数据同步出现异常，Canal 可以支持对异常数据进行重放

（4）数据过滤和转发

Canal 支持对数据进行过滤和转发，可以根据业务需求配置相应的规则，将异常数据进行过滤或者转发到指定的处理模块进行处理

4、Canal处理大数据量同步方法

（1） 增加 Canal 实例

每个实例处理一部分数据，从而分担整体的数据同步压力。

（2）数据分片

将数据分散处理，以减小单个 Canal 实例的负载压力

（3）数据过滤

通过配置过滤规则，只同步需要的数据，减少不必要的数据传输

（4）增加服务器资源