canal进程启动后，kafka无法实时消费数据，问题排查思路

最新推荐文章于 2023-02-03 16:50:11 发布

Doctor_96

最新推荐文章于 2023-02-03 16:50:11 发布

阅读量1.1k

点赞数

分类专栏：大数据 canal kafka

本文链接：https://blog.csdn.net/weixin_42350858/article/details/108354644

版权

大数据同时被 3 个专栏收录

22 篇文章 1 订阅

订阅专栏

canal

1 篇文章 0 订阅

订阅专栏

kafka

1 篇文章 0 订阅

订阅专栏

1、查看mysql中是否为canal赋权限

在mysql中执行

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

执行show grants for 'canal';查看权限

2、查看/etc/my.cnf中是否开启binlog

# 设置安全策略，0的安全级别最低，2的级别最高，密码长度为1
validate_password_policy=0
validate_password_length=1

# 设置本机服务id为1
server-id=1
# 启用logbin
log-bin=mysql-bin
# binlog的分类格式为row、statement、mixed，这里设置为row，记录每次操作后的每行记录的变化，可以保证数据一致性，但冗余严重
binlog_format=row
# 设置监听数据库名为gmall0317
binlog-do-db=gmall0317

3、查看canal安装路径下conf的目录下的canal.properties文件，校验下列设置项

# tcp bind ip 绑定通信ip
canal.ip =192.168.1.102

# 配置zookeeper的服务器地址
canal.zkServers =hadoop102:2181,hadoop103:2181,hadoop104:2181

# tcp, kafka, RocketMQ 使用kafka
canal.serverMode = kafka

# 高可用配置项，默认为一个
canal.destinations = example 
#canal.instance.global.spring.xml = classpath:spring/file-instance.xml
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

#canal.mq.servers = 127.0.0.1:6667 设置kafka的服务器地址
canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092

4、查看conf的目录下的example目录下的instance.properties文件，校验下列配置项

# position info 设置安装canal的服务器的主机名:地址
canal.instance.master.address=hadoop102:3306

# table meta tsdb info 设置为true
canal.instance.tsdb.enable=true

# username/password 默认设置即可
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false

# mq config 设置消费主题
canal.mq.topic=ODS_DB_GMALL0317_C

# hash partition config 设置分区数
canal.mq.partitionsNum=4
#分区hash匹配
canal.mq.partitionHash=.*\\..*:$pk$