Canal获取mysql数据

背景

早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。【github项目】

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

基于日志增量订阅和消费的业务包括

• 数据库镜像
• 数据库实时备份-
• 索引构建和实时维护(拆分异构索引、倒排索引等)
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

项目介绍

名称：canal [kə’næl]
译意： 水道/管道/沟渠
产品定位： 基于数据库增量日志解析，提供增量数据订阅和消费
关键词： MySQL binlog parser / real-time / queue&topic / index build

工作原理

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

ClientSample

直接使用canal.example工程

部署canal

准备

对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

注意：针对阿里云 RDS for MySQL , 默认打开了 binlog , 并且账号默认具有 binlog dump 权限 , 不需要任何权限或者 binlog 设置,可以直接跳过这一步
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

启动

• 下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.0.17 版本为例

  wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz
  

• 解压缩

  mkdir /tmp/canal
  tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal
  

  • 解压完成后，进入 /tmp/canal 目录，可以看到如下结构

    

• 配置修改

  vi conf/example/instance.properties
  

几个比较重要常用参数配置

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# 仿从节点,给一个id,不要和从节点重复
canal.instance.mysql.slaveId=1234

# 配置实例地址
canal.instance.master.address=192.168.1.1:3306
# mysql> show master status;  查出name 和 posttion 
canal.instance.master.journal.name=mysql-bin.xxxx 
canal.instance.master.position=xxxx
canal.instance.master.timestamp=


# username/password
canal.instance.dbUsername=userName
canal.instance.dbPassword=password
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=fals

canal.instance.parser.parallel=true

# table regex
# 只监控的库或者表
canal.instance.filter.regex=.*\\..*

# table black regex
# 黑名单 如果设置的话,就不扫描该库或者表
canal.instance.filter.black.regex=

• canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
• 如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

启动

sh bin/startup.sh

查看日志

tail -f logs/canal/canal.log

关闭

sh bin/stop.sh

从头创建工程

• 添加依赖

  	<dependency>
  	    <groupId>com.alibaba.otter</groupId>
  	    <artifactId>canal.client</artifactId>
  	    <version>1.1.0</version>
  	</dependency>
  

• ClientSample代码

  import com.alibaba.otter.canal.client.CanalConnector;
  import com.alibaba.otter.canal.client.CanalConnectors;
  import com.alibaba.otter.canal.protocol.CanalEntry.*;<