#### 使用 binlog + canal + kafka 同步数据更新事件到redis或es等

部分内容摘自【基于Canal和Kafka实现MySQL的Binlog近实时同步 - 掘金】

大致流程

canal将binlog转到连接器kafka，接收方订阅topic消费后更新redis或es

canal工作原理

canal伪装成一台从实例，所以看MySQL主备复制原理：

• Master实例，将数据变更写入二进制日志binary log。（其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看）
• Slave实例，将master的binary log events拷贝到它的中继日志relay log。
• Slave实例，重放relay log中的事件，将数据变更反映它到自身的数据。

canal的工作原理就是模拟slave，如下：

• Canal模拟MySQL Slave的交互协议，伪装自己为MySQL Slave，向MySQL Master发送dump协议
• MySQL Master收到dump请求，开始推送binary log给Slave（即Canal）
• Canal解析binary log对象（原始为byte流），并且可以通过连接器发送到对应的消息队列等中间件中