canal学习

 什么是canal

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）

canal的工作原理

1、master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；

2、slave将master的binary log events拷贝到它的中继日志(relay log)；

3、slave重做中继日志中的事件，将改变反映它自己的数据。

原理如下：

(1). canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

(2). mysql master收到dump请求，开始推送binary log给slave(也就是canal)

(3). canal解析binary log对象(原始为byte流)

基于日志增量订阅&消费支持的业务：

1. 数据库镜像
2. 数据库实时备份
3. 多级索引 (卖家和买家各自分库索引)
4. search build
5. 业务cache刷新
6. 价格变化等重要业务消息

总结

这里总结了一下Canal的一些点，仅供参考：

1. 原理：模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议；mysql master收到dump请求，开始推送binary log给slave(也就是canal)；解析binary log对象(原始为byte流)
2. 重复消费问题：在消费端解决。
3. 采用开源的open-replicator来解析binlog
4. canal需要维护EventStore，可以存取在Memory, File, zk
5. canal需要维护客户端的状态，同一时刻一个instance只能有一个消费端消费
6. 数据传输格式：protobuff
7. 支持binlog format 类型:statement, row, mixed. 多次附加功能只能在row下使用，比如otter
8. binlog position可以支持保存在内存，文件，zk中
9. instance启动方式：rpc/http; 内嵌
10. 有ACK机制
11. 无告警，无监控，这两个功能都需要对接外部系统
12. 方便快速部署。

参考资料

1. https://github.com/alibaba/canal