MySQL Cannal Kafka数据采集

介紹

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

• 数据库镜像

• 数据库实时备份

• 索引构建和实时维护(拆分异构索引、倒排索引等)

• 业务 cache 刷新

• 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)

• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)

• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议

• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

• canal 解析 binary log 对象(原始为 byte 流)

版本更新说明

1. canal 1.1.x 版本（release_note）,性能与功能层面有较大的突破,重要提升包括:

• 整体性能测试&优化,提升了150%. #726 参考: Performance

• 原生支持prometheus监控 #765 Prometheus QuickStart

• 原生支持kafka消息投递 #695 Canal Kafka/RocketMQ QuickStart

• 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: Aliyun RDS QuickStart

• 原生支持docker镜像 #801 参考: Docker QuickStart

1. canal 1.1.4版本，迎来最重要的WebUI能力，引入canal-admin工程，支持面向WebUI的canal动态管理能力，支持配置、任务、日志等在线白屏运维能力，具体文档：Canal Admin Guide

Canal Kafka QuickStart

到官网地址(release)下载最新压缩包,请下载 canal.deployer-latest.tar.gz，将canal.deployer 复制到固定目录并解压：

[root@CentOS ~]# tar -zxf canal.deployer-1.1.5-SNAPSHOT.tar.gz -C /usr/
[root@CentOS ~]#

配置修改参数

修改instance 配置文件 vi conf/example/instance.properties

...
# position info
canal.instance.master.address=CentOS:3306
...
# username/password
canal.instance.dbUsername=root
canal.instance.dbPassword=root
...
# mq config
canal.mq.topic=atlas
...

修改canal 配置文件vi /usr/local/canal/conf/canal.properties

...
# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = kafka
...
##################################################
#########                    Kafka                   #############
##################################################
kafka.bootstrap.servers = CentOS:9092

启动服务

[root@CentOS cannal]# ./bin/startup.sh

相关参数说明

参数名	参数说明
canal.mq.servers	kafka为bootstrap.servers rocketMQ中为nameserver列表
canal.mq.retries	发送失败重试次数
canal.mq.batchSize	kafka为ProducerConfig.BATCH_SIZE_CONFIGrocketMQ无意义
canal.mq.maxRequestSize	kafka为ProducerConfig.MAX_REQUEST_SIZE_CONFIGrocketMQ无意义
canal.mq.lingerMs	kafka为ProducerConfig.LINGER_MS_CONFIG , 如果是flatMessage格式建议将该值调大, 如: 200rocketMQ无意义
canal.mq.bufferMemory	kafka为ProducerConfig.BUFFER_MEMORY_CONFIGrocketMQ无意义
canal.mq.acks	kafka为ProducerConfig.ACKS_CONFIGrocketMQ无意义
canal.mq.kafka.kerberos.enable	kafka为ProducerConfig.ACKS_CONFIGrocketMQ无意义
canal.mq.kafka.kerberos.krb5FilePath	kafka kerberos认证 rocketMQ无意义
canal.mq.kafka.kerberos.jaasFilePath	kafka kerberos认证 rocketMQ无意义
canal.mq.producerGroup	kafka无意义 rocketMQ为ProducerGroup名
canal.mq.accessChannel	kafka无意义 rocketMQ为channel模式，如果为aliyun则配置为cloud
—	—
canal.mq.vhost=	rabbitMQ配置
canal.mq.exchange=	rabbitMQ配置
canal.mq.username=	rabbitMQ配置
canal.mq.password=	rabbitMQ配置
canal.mq.aliyunuid=	rabbitMQ配置
—	—
canal.mq.canalBatchSize	获取canal数据的批次大小
canal.mq.canalGetTimeout	获取canal数据的超时时间
canal.mq.parallelThreadSize	mq数据转换并行处理的并发度
canal.mq.flatMessage	是否为json格式 如果设置为false,对应MQ收到的消息为protobuf格式 需要通过CanalMessageDeserializer进行解码
—	—
canal.mq.topic	mq里的topic名
canal.mq.dynamicTopic	mq里的动态topic规则, 1.1.3版本支持
canal.mq.partition	单队列模式的分区下标，
canal.mq.partitionsNum	散列模式的分区数
canal.mq.partitionHash	散列规则定义 库名.表名 : 唯一主键，比如mytest.person: id 1.1.3版本支持新语法，见下文

查询表分区信息

• 保存数据存储格式以及位置

MariaDB [hive]> desc SDS;
+---------------------------+---------------+------+-----+---------+-------+
| Field                     | Type          | Null | Key | Default | Extra |
+---------------------------+---------------+------+-----+---------+-------+
| SD_ID                     | bigint(20)    | NO   | PRI | NULL    |       |
| CD_ID                     | bigint(20)    | YES  | MUL | NULL    |       |
| INPUT_FORMAT              | varchar(4000) | YES  |     | NULL    |       |
| IS_COMPRESSED             | bit(1)        | NO   |     | NULL    |       |
| IS_STOREDASSUBDIRECTORIES | bit(1)        | NO   |     | NULL    |       |
| LOCATION                  | varchar(4000) | YES  |     | NULL    |       |
| NUM_BUCKETS               | int(11)       | NO   |     | NULL    |       |
| OUTPUT_FORMAT             | varchar(4000) | YES  |     | NULL    |       |
| SERDE_ID                  | bigint(20)    | YES  | MUL | NULL    |       |
+---------------------------+---------------+------+-----+---------+-------+
9 rows in set (0.00 sec)

• 保存分区信息

MariaDB [hive]> desc PARTITIONS;
+------------------+--------------+------+-----+---------+-------+
| Field            | Type         | Null | Key | Default | Extra |
+------------------+--------------+------+-----+---------+-------+
| PART_ID          | bigint(20)   | NO   | PRI | NULL    |       |
| CREATE_TIME      | int(11)      | NO   |     | NULL    |       |
| LAST_ACCESS_TIME | int(11)      | NO   |     | NULL    |       |
| PART_NAME        | varchar(767) | YES  | MUL | NULL    |       |
| SD_ID            | bigint(20)   | YES  | MUL | NULL    |       |
| TBL_ID           | bigint(20)   | YES  | MUL | NULL    |       |
+------------------+--------------+------+-----+---------+-------+
6 rows in set (0.00 sec)

• 存储表信息

MariaDB [hive]> desc TBLS;
+--------------------+--------------+------+-----+---------+-------+
| Field              | Type         | Null | Key | Default | Extra |
+--------------------+--------------+------+-----+---------+-------+
| TBL_ID             | bigint(20)   | NO   | PRI | NULL    |       |
| CREATE_TIME        | int(11)      | NO   |     | NULL    |       |
| DB_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| LAST_ACCESS_TIME   | int(11)      | NO   |     | NULL    |       |
| OWNER              | varchar(767) | YES  |     | NULL    |       |
| OWNER_TYPE         | varchar(10)  | YES  |     | NULL    |       |
| RETENTION          | int(11)      | NO   |     | NULL    |       |
| SD_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| TBL_NAME           | varchar(256) | YES  | MUL | NULL    |       |
| TBL_TYPE           | varchar(128) | YES  |     | NULL    |       |
| VIEW_EXPANDED_TEXT | mediumtext   | YES  |     | NULL    |       |
| VIEW_ORIGINAL_TEXT | mediumtext   | YES  |     | NULL    |       |
| IS_REWRITE_ENABLED | bit(1)       | NO   |     | b'0'    |       |
+--------------------+--------------+------+-----+---------+-------+
13 rows in set (0.00 sec)

• 存储DB信息

MariaDB [hive]> desc DBS;
+-----------------+---------------+------+-----+---------+-------+
| Field           | Type          | Null | Key | Default | Extra |
+-----------------+---------------+------+-----+---------+-------+
| DB_ID           | bigint(20)    | NO   | PRI | NULL    |       |
| DESC            | varchar(4000) | YES  |     | NULL    |       |
| DB_LOCATION_URI | varchar(4000) | NO   |     | NULL    |       |
| NAME            | varchar(128)  | YES  | MUL | NULL    |       |
| OWNER_NAME      | varchar(128)  | YES  |     | NULL    |       |
| OWNER_TYPE      | varchar(10)   | YES  |     | NULL    |       |
| CTLG_NAME       | varchar(256)  | NO   | MUL | hive    |       |
+-----------------+---------------+------+-----+---------+-------+
7 rows in set (0.00 sec)

• 查询分区信息

 select s.LOCATION,p.PART_NAME,p.CREATE_TIME,t.TBL_NAME,d.NAME 
 from SDS s right join PARTITIONS p on s.SD_ID=p.SDID left join TBLS t on p.TBL_ID=t.TBL_ID  left join DBS d on d.DB_ID=t.DB_ID ;

+----------------------------------------------+-----------+-------------+------------+------+
| LOCATION                                     | PART_NAME | CREATE_TIME | TBL_NAME   | NAME |
+----------------------------------------------+-----------+-------------+------------+------+
| hdfs://CentOS:9000/hive/t_employee/deptno=10 | deptno=10 |  1612114029 | t_employee | jd   |
| hdfs://CentOS:9000/hive/t_employee/deptno=20 | deptno=20 |  1612154526 | t_employee | jd   |
+----------------------------------------------+-----------+-------------+------------+------+
2 rows in set (0.00 sec)