【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表

最新推荐文章于 2024-07-07 11:52:23 发布

槐序i

最新推荐文章于 2024-07-07 11:52:23 发布

阅读量1.7k

点赞数 1

分类专栏： flink kafka

本文链接：https://blog.csdn.net/spark9527/article/details/117333680

版权

本文介绍了如何通过Kafka Connector的Debezium插件，实现实时从MySQL Binlog同步数据到Kafka，再利用FlinkSQL将Kafka中的数据映射为表。整个过程包括Kafka Connect的启动和配置、Debezium的安装、MySQL Binlog监控以及FlinkSQL的映射操作。

摘要由CSDN通过智能技术生成

目的：实时同步mysql的数据，之前是通过flink-cdc实现，但是flink-cdc需要编写代码，维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行，操作简单便于维护

一、前期准备

软件版本

mysql 5.7.30
kafka 2.2.1-cdh6.3.2
Flink 12.2.2

Debezium连接器

debezium 1.5.0

二、整体流程设计

图示如下

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3WMTgxQO-1622107688994)(C:\Users\ADMINI~1\AppData\Local\Temp\1622095683852.png)]$

1、源数据位于mysql中

2、通过debezium捕获数据更改

3、传输mysql的变化信息

4、消费kafka，将其映射成为一张表

三、分步骤测试

1、kafka connnect启动与测试

1.1 进入kafka配置目录

cd /opt/cloudera/parcels/CDH/lib/kafka/config

1.2 创建配置文件

vim connect-distributed.properties

1.3 进行配置

bootstrap.servers=192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092
group.id=kafka-connect
key.converter=org.ap

最低0.47元/天解锁文章

槐序i

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表

目的：实时同步mysql的数据，之前是通过flink-cdc实现，但是flink-cdc需要编写代码，维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行，操作简单便于维护一、前期准备软件版本mysql 5.7.30kafka 2.2.1-cdh6.3.2Flink 12.2.2Debezium连接器debezium 1.5.0相关介绍Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安
复制链接

扫一扫

专栏目录