flink-cdc实时增量同步mysql数据到kafka

已于 2022-09-16 16:50:43 修改
阅读量2.8k 收藏 23
点赞数
分类专栏： # Flink 文章标签： 大数据 flink
于 2022-09-14 18:34:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/126857948
版权

本文首发于我的个人博客网站 等待下一个秋-Flink

什么是CDC？

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

Flink_CDC

1. 环境准备

  • mysql

  • kafka 2.3

  • flink 1.13.5 on yarn

说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧。

2. 下载下列依赖包

下面两个地址下载flink的依赖包，放在lib目录下面。

  1. flink-sql-connector-kafka_2.11-1.13.5.jar
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据技术派
关注
  • 0
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-19 1418
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Flink CDC > Kafka ＆ Schema Registry > Hudi ( Flink Connector ) 》介绍的
mysql增量同步kafka_基于 Flink SQL CDC 的实时数据同步方案
weixin_28994767的博客
12-28 3126
Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。1、传统数据同步方案2、基于 Flink SQL CDC 的数据同步方案（Demo）3、...
FlinkCDC读取MySQL并写入Kafka案例(com.alibaba.ververica)
硅谷工具人
01-06 3026
场景应用：将MySQL的变化数据转为实时流输出到Kafka中。 注意版本问题，版本不同可能会出现异常，以下版本测试没问题： flink1.12.7 flink-connector-mysql-cdc 1.3.0(com.alibaba.ververica) (测试时使用1.2.0版本时会出现空指针错误) 1. MySQL的配置 在/etc/my.cnf文件中，【mysqld】下面添加以下配置：...
使用Flink实现MySQL到Kafka的数据流转换
lhyandlwl的博客
03-30 725
本篇博客将介绍如何使用Flink将数据从MySQL数据库实时传输到Kafka，这是一个常见的用例，适用于需要实时数据connector的场景。
flink cdc新一代数据集成框架
litlit023的专栏
01-05 257
下载链接 《Flink CDC 新一代数据集成框架》 出品人：伍翀 (云邪) 下载链接： 文件下载-阿里云开发者社区 或者 链接：https://pan.baidu.com/s/1W86UXSTDpVeuvST4eSgDsw 提取码：92wi
[基础架构] [Flink] Flink/Flink-CDC的部署和配置
OxYGC
07-05 8165
Flink 以及 Flink -CDC 部署与配置
flink cdc环境搭建
u013008898的博客
07-25 1331
flink cdc环境搭建
【FlinkSQL实战系列】Flink SQL CDC 实时同步 Mysql 的 Binlog 数据到 kafka
JasonLee实时计算
04-26 6750
什么是 CDC ? CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等. 要解决什么问题 ? 使用 flink sql 进行数据同步,可以将数据从一个数据同步到其他的地方，比如 mysql、elasticsearch 等。 可以在源数据库上实时的物化一个聚合视图 因为只是增量同步，所以可以实时的低延迟的同步数据 使用 EventTime joi
使用最新版flink tidb cdc 同步数据到StarRocks
gongxiucheng的专栏
04-21 6211
Flink CDC 2.2 版本新增了 OceanBase CE，PolarDB-X，SqlServer，TiDB 四种数据源接入。其中新增 OceanBase CDC，SqlServer CDC，TiDB CDC 三个连接器，而 PolarDB-X 的支持则是通过对 MySQL CDC 连接器进行兼容适配实现。 发布原文链接：https://blog.csdn.net/weixin_44904816/article/details/123836091 最近在测tidb原始的ticdc（PingCa
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
总之，通过Flink-connector-sqlserver-cdc 2.3.0，我们可以轻松地构建一个实时数据同步系统，将SQL Server数据库的变化实时同步到MySQL。理解并掌握上述步骤和概念，对于实现高效、稳定的数据流处理至关重要。
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
Java开发案例springboot-整合flink-cdc-connectors实现MySQL实时数据同步-源代码+文档
最新发布
05-31
Java开发案例springboot-整合flink-cdc-connectors实现MySQL实时数据同步-源代码+文档 Java开发案例springboot-整合flink-cdc-connectors实现MySQL实时数据同步-源代码+文档 Java开发案例springboot-整合flink-cdc-...
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步
weixin_37788200的博客
06-11 2486
通过flink-cdc实现kafka数据源的数据实时同步到目标数据库，并对目标库进行增删改操作
6.2、Flink数据写入到Kafka
向热爱自己一样，热爱这个世界。
09-13 2204
Flink数据写入到Kafka
Flink CDC 读取MySQL的数据
热门推荐
一个数据小开发的博客
12-24 1万+
1、前提背景准备 Flink在1.11之后就已经支持从MySQL增量读取Binlog日志的方式。 pom文件如下： <properties> <scala.binary.version>2.11</scala.binary.version> <scala.version>2.11.12</scala.version> <flink.version>1.12.0</flink.version>
FlinkCDC2.2.1+Flink1.15.0实践
一点见解
07-05 1059
Flink+FlinkCDC+FlinkSQL实践
flinkCDC 从mysql同步到kafka 的流程
06-11
Flink CDC 从 MySQL 同步到 Kafka 的流程如下： 1. 配置 MySQL 数据源：在 Flink CDC 中，使用 JDBC Connector 连接 MySQL 数据库，并配置相应的参数，例如数据库连接 URL、用户名、密码等。 2. 配置 Kafka 数据接收器：使用 Kafka Connector 连接 Kafka，配置相应的参数，例如 Kafka 主题、Kafka Broker 地址等。 3. 创建 Flink CDC 任务：使用 Flink SQL 或 Flink Table API 创建 Flink CDC 任务，并配置相应的数据源和数据接收器。 4. 启动 Flink CDC 任务：使用 Flink 自带的命令行工具或 Web UI 启动 Flink CDC 任务，开始同步 MySQL 数据到 Kafka 中。 具体的步骤如下： 1. 下载并安装 Flink：从 Flink 官网下载并安装 Flink。 2. 配置 MySQL 数据源：在 Flink 的 conf 目录下创建一个新的文件，例如 mysql.properties，配置 MySQL 数据源相关的参数，例如： ``` connector.class = jdbc connector.url = jdbc:mysql://localhost:3306/test?useSSL=false connector.table = my_table connector.username = root connector.password = password ``` 3. 配置 Kafka 数据接收器：在 Flink 的 conf 目录下创建一个新的文件，例如 kafka.properties，配置 Kafka 数据接收器相关的参数，例如： ``` connector.class = kafka connector.topic = my_topic connector.properties.bootstrap.servers = localhost:9092 ``` 4. 创建 Flink CDC 任务：使用 Flink SQL 或 Flink Table API 创建 Flink CDC 任务，例如： ``` CREATE TABLE my_table ( id INT, name STRING, age INT ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/test?useSSL=false', 'table-name' = 'my_table', 'username' = 'root', 'password' = 'password' ); CREATE TABLE my_topic ( id INT, name STRING, age INT ) WITH ( 'connector' = 'kafka', 'topic' = 'my_topic', 'properties.bootstrap.servers' = 'localhost:9092' ); INSERT INTO my_topic SELECT * FROM my_table; ``` 5. 启动 Flink CDC 任务：使用 Flink 自带的命令行工具或 Web UI 启动 Flink CDC 任务，例如： ``` ./bin/flink run -c com.example.MyCDCJob /path/to/my/cdc/job.jar ``` 通过以上步骤，就可以实现从 MySQL 同步数据到 Kafka 中的流程。需要注意的是，Flink CDC 可以根据实际的需求进行调整，例如任务并行度、缓冲区大小等参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值