java 数据增量同步_阿里Canal框架（数据同步中间件）初步实践

背景介绍

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

适用版本

支持mysql5.7及以下版本

传统的主从同步原理

master将数据记录到了binlog日志里面，然后slave会通过一个io线程去读取master那边指定位置点开始的binlog日志内容，并将相应的信息写会到slave这边的relay日志里面，最后slave会有单独的sql线程来读取这些master那边执行的sql语句记录，达成两端的数据同步。

传统的mysql主从同步实现的原理图如下所示：

Canal中间件功能

基于纯java语言开发，可以用于做增量数据订阅和消费功能。

相比于传统的数据同步，我们通常需要进行先搭建主从架构，然后使用binlog日志进行读取，然后指定需要同步的数据库，数据库表等信息。但是随着我们业务的不断复杂，这种传统的数据同步方式以及开始变得较为繁琐，不够灵活。

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal)，canal解析binary log对象(原始为byte流)，通过对binlog数据进行解析即可获取需要同步的数据，在进行同步数据的过程中还可以加入开发人员的一些额外逻辑处理，比较开放。

Binlog的三种基本类型分别为：

STATEMENT模式只记录了sql语句，但是没有记录上下文信息，在进行数据恢复的时候可能会导致数据的丢失情况

ROW模式除了记录sql语句之外，还会记录每个字段的变化情况，能够清楚的记录每行数据的变化历史，但是会占用较多的空间，需要使用mysqlbinlog工具进行查看。

MIX模式比较灵活的记录，例如说当遇到了表结构变更的时候，就会记录为statement模式。当遇到了数据更新或者删除情况下就会变为row模式

Canal环境搭建

需要先登录mysql数据库，检查binlog功能是否有开启。

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | OFF |
+---------------+-------+
1 row in set (0.00 sec)

如果显示状态为OFF表示该功能未开启，那么这个时候就需要到my.ini里面进行相关配置了，在原来的my.ini配置底部插入以下内容：

server-id=192
log-bin=mysql-bin
binlog_format = ROW

当再次通过客户端查看log_bin状态为ON的时候，就表示binlog已经开启：

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
1 row in set (0.00 sec)

然后在mysql里面添加以下的相关用户和权限：

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

开启之后，我们可以前往canal的官方地址进行相应版本的安装包进行下载：

https://github.com/alibaba/canal/releases

下载好指定的版本之后，找到里面的bin目录底下的startup脚本，启动。

启动之后会发现黑窗停止在这样一行的内容上，然后就不动了

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Listening for transport dt_socket at address: 9099

这时候需要前往日志文件夹底下canallogs，查看canal日志文件是否已经开启，如果显示以下内容，就表示启动已经成功

2019-05-06 10:41:56.116 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2019-05-06 10:41:56.144 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2019-05-06 10:41:56.145 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2019-05-06 10:41:56.233 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.164.1:11111]
2019-05-06 10:41:58.179 [main] INFO com.alibaba.otter.