canal-数据转存kafka

参考网址: https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart

1.创建zookeeper:

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

2.创建kafka:

docker run  -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.10.32:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

3.测试kafka:

docker exec -it kafka /bin/bash
cd opt/kafka_2.11-2.0.0
./bin/kafka-console-producer.sh --broker-list 192.168.10.32:9092 --topic mykafka

另起终端:

docker exec -it kafka /bin/bash
cd opt/kafka_2.11-2.0.0/
   ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.10.32:9092 --topic mykafka --from-beginning

4.准备MySQL:

对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

5.创建canal

准备配置文件:

 docker run -d -p 11111:11111 --name canal -v /qj/canal-server:/home/admin/canal-server  canal/canal-server:v1.1.4

 sudo docker cp canal:/home/admin/canal-server /qj/

运行canal:

 docker run -d -p 11111:11111 --name canal -v /qj/canal-server:/home/admin/canal-server  canal/canal-server:v1.1.4

配置文件:
a. 修改instance 配置文件 vi conf/example/instance.properties

#  按需修改成自己的数据库信息
#################################################
...
canal.instance.mysql.slaveId=0
canal.instance.master.address=192.168.1.20:3306
# username/password,数据库的用户名和密码
...
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
...
# mq config
canal.mq.topic=example
# 针对库名或者表名发送动态topic
#canal.mq.dynamicTopic=mytest,.*,mytest.user,mytest\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#库名.表名: 唯一主键，多个表之间用逗号分隔
#canal.mq.partitionHash=mytest.person:id,mytest.role:id
#################################################

b. 修改canal 配置文件vi /usr/local/canal/conf/canal.properties

# ...
# 可选项: tcp(默认), kafka, RocketMQ
canal.serverMode = kafka
# ...
# kafka/rocketmq 集群配置: 192.168.1.117:9092,192.168.1.118:9092,192.168.1.119:9092 
canal.mq.servers = 127.0.0.1:6667
canal.mq.retries = 0
# flagMessage模式下可以调大该值, 但不要超过MQ消息体大小上限
canal.mq.batchSize = 16384
canal.mq.maxRequestSize = 1048576
# flatMessage模式下请将该值改大, 建议50-200
canal.mq.lingerMs = 1
canal.mq.bufferMemory = 33554432
# Canal的batch size, 默认50K, 由于kafka最大消息体限制请勿超过1M(900K以下)
canal.mq.canalBatchSize = 50
# Canal get数据的超时时间, 单位: 毫秒, 空为不限超时
canal.mq.canalGetTimeout = 100
# 是否为flat json格式对象
canal.mq.flatMessage = false
canal.mq.compressionType = none
canal.mq.acks = all
# kafka消息投递是否使用事务
canal.mq.transaction = false
# 匹配所有表，则每个表都会发送到各自表名的topic上
canal.mq.dynamicTopic=.*\\..*