canal-阿里巴巴 MySQL binlog 增量订阅&消费组件

canal-阿里巴巴 MySQL binlog 增量订阅&消费组件

一.初识

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

项目地址

架构思路

二.canal-server

canal-server 在架构中起到承上启下到作用，对接mysql，模仿mysql持久化协议，伪装成mysql从库，拉取binlogo日志，再向相应的client客户端发送数据。
在canal项目中是canal.deployer包。

1.mysql准备

1.mysql my.cnf配置中添加
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

2.创建相关账号
CREATE USER canal IDENTIFIED BY ‘canal’;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;
– GRANT ALL PRIVILEGES ON . TO ‘canal’@’%’ ;
FLUSH PRIVILEGES;
3.建议使用5.6.x版本mysql，亲测8.X版本存在不兼容现象，不建议使用

2.安装

1.下载git项目release或者down下来自己打包
2.配置相关信息,主要是mysql地址账号配置
vi conf/example/instance.properties

3. sh bin/startup.sh
4.启动无报错后，试试修改数据库，查看server日志

有binlog日志即为成功

三.canal-client

1.下载安装

1.下载
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.adapter-1.1.4.tar.gz
2.配置相关信息
vim conf/application.yml

3.在conf/es/下创建相应yml配置文件，支持多个文件，启动时会全部加载,client日志目录在 logs/adapter/adapter.log

4.对应es注入sql写法

四.es查看

四.注意事项

1.部署canal-server时报"could not find first log file name in binary log index file"，主要是因为canal关机时mysql发生数据变更，再次启动发现binlog里面index不一致，需要重新同步

2.如果使用8.x版本mysql，创建用户后canal会连接不上，因为用户密码验证机制改变了，需要将相应用户的登录方式 修改为 “mysql_native_password”。执行sql “alter USER root@localhost IDENTIFIED WITH mysql_native_password BY XXXXX”