利用binlog机制异步同步数据到redis

1. 可行方案

回归正题：我们的标题为《使用canal进行MySQL数据同步到Redis》，那就先来说说我们的目的：mysql数据同步到Redis，想达到读写分离，Redis只做缓存，MySQL做持久化。刚开始想这样干的时候就去网上收集资料，发现了N多做法：

1. 先从Redis读取数据，如果没有查询到；便从mysql查询数据，将查询到的内容放到Redis中。对于写操作，先对mysql进行写，写成功对Redis进行写。当然这是一种相对直观而且简单的方法，但是看起来有许多操作需要我们自己去做。

2. 使用mysql的udf去做，大体的思想是通过数据库中的Trigger调用自定义的函数库来触发对Redis的相应操作，比较麻烦的一点是：自定义的函数库需要我们基于mysql的API进行开发（C++）,想想自己的Java程序要去调用这么一堆玩意，本人很不情愿。据了解，该方法也是阿里早起的解决方案，具体的步骤可参照：《【菜鸟玩Linux开发】通过MySQL自动同步刷新Redis》

3. 通过Gearman去同步，但是通过了解发现，它一般使用在PHP的开发中。

   接下来的两种方案都属于对mysql中的binlog进行解析的方法了。

4. 使用open-replicator解析binlog，github.com/whitesock/o….

5. 使用canal进行同步，当然是能够解放双手的工具。

通过大量的资料收集和调查，我使用了canal进行了mysql数据同步到Redis。先简单谈谈canal：

canal主要是基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，核心基本就是模拟mysql中slave节点请求。具体的原理在这里不进行介绍，可以移步《阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费》 进行学习。

2. mysql的配置

• 开启mysql的binlog模块

切换到mysql的安装路径，找到my.cnf(Linux)/my.ini (windows)，加入如下内容：

[mysqld]log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复复制代码

配置完成后，需要重启数据库。当重启数据库遇到问题时，耐心解决，但需要警告的是，

千万别动data文件夹下的文件

。当然如果你觉得你比较有“资本”，同时遇到了“mysql 1067 无法启动”的错误，你可以试着备份一下data文件夹下的内容，删除logfile文件，重启数据库即可，但本人极不推荐这样进行操作。就是由于本人之前的无知，根据一个无良博客，误删了ibdata1文件，使得本人造成了很大的损失，mysql下的所有数据库瞬间毁灭。

• 配置mysql数据库

创建canal用户，用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制，进而控制canal能够获取的内容。

CREATE USER canal IDENTIFIED BY 'canal';  
  GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON 数据库名.表名 TO 'canal'@'%';  -- GRANT ALL PRIVILEGES ON 数据库名.表名 TO 'canal'@'%' ;  FLUSH PRIVILEGES;复制代码

3. canal配置与部署

• 下载部署包

下载，解压，我使用的是最新版本1.0.22

https://github.com/alibaba/canal/releases/复制代码

• 配置canal

主要配置的文件有两处，canal/conf/example/instance.properties 和 canal/conf/canal.properties . 而canal.properties 文件我们一般保持默认配置，所