淘东电商项目（22） -Canal数据同步框架

引言

在上一节《淘东电商项目（21） -Redis如何与数据库状态保持一致？》，主要通过了Redis事务与数据库事务同步来实现数据同步。

电商项目代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop

那MySQL与Redis数据同步，除了上一节课的方式，还有其它方式来实现吗？其实阿里巴巴已经有推出一款框架解决了，就是本文要将的Canal。

本文目录结构：
l____引言
l____ 1.Canal产生背景
l____ 2.Canal特性
l____ 3.Canal原理
l____总结

1.Canal产生背景

Github地址：https://github.com/alibaba/canal

早期，阿里巴巴B2B公司需要在美国和中国杭州之间同步服务器的数据。以前的数据库同步机制是基于trigger以获得增量更新的。从2010年开始，阿里巴巴集团开始使用数据集二进制日志获取增量更新并跨服务器同步数据，这催生了我们的增量订阅和消费服务（现已在阿里云中提供）并开始了一个新时代。

2.Canal特性

Canal是基于MySQL二进制日志的高性能数据同步系统。Canal在阿里巴巴集团（包括https://www.taobao.com）中被广泛使用，以提供可靠的低延迟增量数据管道。

Canal Server能够解析MySQL Binlog并订阅数据更改，而Canal Client可以实现将更改广播到任何地方，例如数据库和Apache Kafka。

具有以下特点：

• 支持所有平台。
• 支持由Prometheus支持的细粒度系统监视。
• 支持通过不同方式（例如通过GTID）解析和预订MySQL Binlog。
• 支持高性能，实时数据同步。（查看更多的性能）
• Canal Server和Canal Client均支持由Apache ZooKeeper支持的HA /可伸缩性
• Docker支持。

3.Canal原理

Canal利用的是MySQL主从复制的原理实现：

复制遵循三步过程：

• 主服务器将更改记录到binlog中（这些记录称为binlog事件，可以通过来查看show binary events）
• 从服务器将主服务器的二进制日志事件复制到其中继日志。
• 中继日志中的从服务器重做事件将随后更新其旧数据。

最后演变成如下架构了：