Debezium-实时同步MySQL到Kafka的环境搭建

最新推荐文章于 2024-07-30 14:18:58 发布

252619

最新推荐文章于 2024-07-30 14:18:58 发布

阅读量1w

点赞数

分类专栏： Debezium

本文链接：https://blog.csdn.net/xidianbaby/article/details/84886943

版权

本文档详细介绍了如何搭建环境，将MySQL的数据实时同步到Kafka。涉及软件包括Kafka、Confluent、Debezium Connector for MySQL，以及相关配置和启动步骤。在安装配置过程中，需注意不同jar包的放置以避免冲突，同时修改Confluent的schema-registry和connect-avro-distributed.properties配置。最后，启动Zookeeper、Kafka、Schema Registry和Kafka Connect Worker来完成设置。

摘要由CSDN通过智能技术生成

1-软件信息

1-Kafka : kafka_2.11-2.0.0.tgz
2-Confluent : confluent-oss-5.0.0-2.11.tar.gz
3-Debezium : debezium-connector-mysql-0.8.1.Final-plugin.tar.gz

2-机器IP信息

ip1、ip2、ip3

3-安装配置connector

把debezium-connector-mysql的压缩包解压放到Confluent的解压后的插件目录(share/java)中：
解压命令 : tar -xzf debezium-connector-mysql-0.8.1.Final-plugin.tar.gz

注意：不同的jar包放在插件目录不同的文件夹下，可以防止jar包冲突；每台Kafka-connect-worker机器上的Confluent插件目录下都要有插件文件夹(因为connector提交到一个分布式的worker集群后，不一定在哪台worker上调度运行)

由于需要用Avro格式的kafka消息和分布式的kafka connect，因此需要修改Confluent的schema-registry下的配置：
目录 : confluent-5.0.0/etc/schema-registry，需要配置的是connect-avro-distributed.properties和