基于 MySQL 数据库增量日志解析工具-canal

简介

canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

基于日志增量订阅和消费的业务包括:

• 数据库镜像

• 数据库实时备份

• 索引构建和实时维护(拆分异构索引、倒排索引等)

• 业务 cache 刷新

• 带业务逻辑的增量数据处理

当前的canal支持源端MySQL版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

MySQL主备复制原理：

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)；

• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)；

• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据；

canal 工作原理：

1. 基于上述MySQL主备复制原理，canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议;

2. MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal );

3. canal 解析 binary log 对象(原始为 byte 流);

4. 再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。

   

安装部署

安装MySQL，开启binlog 以及 gid 同步

cat > /eyc/my.cnf <<EOF
log_bin=/var/log/binlogs/binlog
server-id=1
expire_logs_days=5
binlog_format=row
 
# gtid
gtid_mode=on 
enforce_gtid_consistency=on 
EOF

安装canal

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.admin-1.1.5.tar.gz
# 解压canal-admin
mkdir  canal-admin
tar -zxvf canal.admin-1.1.5.tar.gz  -C canal-admin/
# 下载canal.deployer
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
# 解压canal-deployer
mkdir  canal-deployer
tar -zxvf canal.deployer-1.1.5.tar.gz -C canal-deployer/

修改canal配置文件

admin配置文件:

• cd canal-admin/conf/

• vim application.yml

server:
  port: 8089 # web端口，默认8089，
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
 
spring.datasource:
  address: 10.0.x.x:3306 # 数据库ip、端口 
  database: canal_manager  # 数据库名称，默认
  username: canal  #数据库用户，默认
  password: canal  #数据库密码，默认
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1
 
canal:
  adminUser: admin     #登陆webui 用户名
  adminPasswd: admin #登陆密码，注意要1.1.5版本需要六位数以上密码,默认密码设置成admin登陆的时候会提示长度错误，默认的canal_manager.sql md5解密出来也是123456

修改server配置文件

vim /data/canal-server/conf/canal_local.properties

#Canal Server 本机地址.需修改
canal.register.ip = *
 
#Canal Admin 连接信息.需修改
canal.admin.manager = *:8089
canal.admin.port = 11110
canal.admin.user = admin
#mysql5 类型 MD5 加密结果 -- admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
 
#自动注册
canal.admin.register.auto = true
#集群名
canal.admin.register.cluster = canal-cluster-1
#Canal Server 名字需修改
canal.admin.register.name = canal-server-1

另一台 Canal Server 也是一样的方式配置，修改 canal.register.ip = 11.8.36.105 和 canal.admin.register.name = canal-server-2即可。

登入集群新建canal-cluster-1，并载入配置模板保存，然后启动两个server

sh /data/canal-server/bin/startup.sh local

java实现

添加依赖

<!-- https://mvnrepository.com/artifact/com.alibaba.otter/canal.client -->
		<dependency>
			<groupId>com.alibaba.otter</groupId>
			<artifactId>canal.client</artifactId>
			<version>1.1.4</version>
		</dependency>
 
		<dependency>
			<groupId>com.google.protobuf</groupId>
			<artifactId>protobuf-java</artifactId>
			<version>3.5.1</version>
		</dependency>

添加yaml

canal:
  host: 127.0.0.1
  port: 11111
  destination: example
  username:
  password: