canal抓取数据

最新推荐文章于 2022-12-28 10:36:40 发布

未来影子

最新推荐文章于 2022-12-28 10:36:40 发布

阅读量392

点赞数

分类专栏：大数据文章标签： java 大数据

本文链接：https://blog.csdn.net/mynameisgt/article/details/126045919

版权

8 篇文章 0 订阅

订阅专栏

提前准备好canal软件包

注意：canal解压后是散的，故需要解压在具体的canal目录上

module>mkdir canal

tar -zxvf canal.deployer-1.1.4.tar.gz -C /opt/module/canal

1、设置安全级别

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0

2、分配一个账号(canal)可以操作数据库

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

1、修改canal/conf/canal.properties

canal.serverMode = kafka

canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092

2、修改conf/example/instance.properties

canal.instance.master.address=hadoop102:3306

canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

canal.mq.topic=ods_base_db_c

3、启动canal

canal>bin/startup.sh

4、启动kafka消费客户端测试

提前开启zookeeper、kafak

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_c

5、操作数据库，查看kafak消费客户端的效果

关注