基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

转自：https://github.com/alibaba/canal

项目介绍

名称：canal [kə'næl]

译意： 水道/管道/沟渠

语言： 纯java开发

定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

关键词： mysql binlog parser / real-time / queue&topic

工作原理

mysql主备复制实现

从上层来看，复制分成三步：

1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
2. slave将master的binary log events拷贝到它的中继日志(relay log)；
3. slave重做中继日志中的事件，将改变反映它自己的数据。

canal的工作原理：

原理相对比较简单：

1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3. canal解析binary log对象(原始为byte流)

相关文档

See the wiki page for : wiki文档

wiki文档列表

• Home
• Introduction
• QuickStart
• ClientExample
• AdminGuide
• ClientAPI
• DevGuide
• BinlogChange(Mysql5.6)
• ReleaseNotes
• Download

相关资料

• ADC阿里技术嘉年华分享ppt (放在google docs上，可能需要翻墙): ppt下载

与阿里巴巴的RocketMQ配合使用

相关开源

1. 阿里巴巴分布式数据库同步系统(解决中美异地机房)：http://github.com/alibaba/otter
2. 阿里巴巴去Oracle数据迁移同步工具(目标支持MySQL/DRDS)：http://github.com/alibaba/yugong