实时查看mysql写入的数据_Mysql+Debezium+kafka+Flink 写入MySQL 实时数据

本次使用版本

kafka_2.12-2.70

Apache-Flink 1.12

Debezium 1.3

环境均为本地启动.提前下好各种应用包.

本文中涉及到的

{flink-1.12.0} 均为文件放置的路径地址

前提需要开启MySQL bin_log 日志 关于如何开启请自行搜索.

首先启动zookeeper

执行命令: ${kafka_2.12-2.7.0}% bin/zookeeper-server-start.sh config/zookeeper.propertieszookeeper.properties

在启动kafka

执行命令:${kafka_2.12-2.7.0}% bin/kafka-server-start.sh config/server.properties

官网下载Debezium debezium-connector-mysql-1.3.1.Final-plugin.tar 将解压的包放置${kafka_2.12-2.7.0}/lib 以及自定义一个 /Users/XXX/connect 下

修改 ${kafka_2.12-2.7.0} % vi config/connect-distributed.propertieskafka

将最后一项取消注释加入:

plugin.path=/Users/XXX/connect

执行:${kafka_2.12-2.7.0} % bin/connect-distributed.sh config/connect-distributed.properties

启动kafka connect

以上步骤正常后

创建一个topic连接器

指令:

${kafka_2.12-2.7.0} % bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic b2c_flink

查看kafka topic

${kafka_2.12-2.7.0} % bin/kafka-topics.sh --list --zookeeper localhost:218