本次使用版本
kafka_2.12-2.70
Apache-Flink 1.12
Debezium 1.3
环境均为本地启动.提前下好各种应用包.
本文中涉及到的
{flink-1.12.0} 均为文件放置的路径地址
前提需要开启MySQL bin_log 日志 关于如何开启请自行搜索.
首先启动zookeeper
执行命令: ${kafka_2.12-2.7.0}% bin/zookeeper-server-start.sh config/zookeeper.propertieszookeeper.properties
在启动kafka
执行命令:${kafka_2.12-2.7.0}% bin/kafka-server-start.sh config/server.properties
官网下载Debezium debezium-connector-mysql-1.3.1.Final-plugin.tar 将解压的包放置${kafka_2.12-2.7.0}/lib 以及自定义一个 /Users/XXX/connect 下
修改 ${kafka_2.12-2.7.0} % vi config/connect-distributed.propertieskafka
将最后一项取消注释加入:
plugin.path=/Users/XXX/connect
执行:${kafka_2.12-2.7.0} % bin/connect-distributed.sh config/connect-distributed.properties
启动kafka connect
以上步骤正常后
创建一个topic连接器
指令:
${kafka_2.12-2.7.0} % bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic b2c_flink
查看kafka topic
${kafka_2.12-2.7.0} % bin/kafka-topics.sh --list --zookeeper localhost:218