CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )

已于 2024-09-02 12:10:39 修改
阅读量1.5k 收藏 10
点赞数 47
分类专栏： CDC数据入湖方案 • 合集 大数据专题 付费专栏 文章标签： flink cdc schema registry avro hudi DeltaStreamer
于 2024-05-19 10:15:00 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/139006355
版权
付费专栏 同时被 3 个专栏收录
94 篇文章 24 订阅 ¥99.90 ¥299.90
订阅专栏
大数据专题
184 篇文章 299 订阅
订阅专栏
CDC数据入湖方案 • 合集
32 篇文章 3 订阅
订阅专栏
该方案利用Flink CDC从MySQL获取CDC数据（Avro格式），经Kafka和Confluent Schema Registry处理，再通过Hudi的HoodieMultiTableStreamer写入Hudi表。文章讨论了单表和多表同步的问题，指出Hudi的HoodieMultiTableStreamer在当前版本不支持整库或多表的Debezium CDC数据同时写入。
摘要由CSDN通过智能技术生成
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。

了解本专栏 订阅专栏 解锁全文
Laurence　
关注
专栏目录
订阅专栏
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
Laurence的技术博客
02-20 837
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
Flink CDC+Kafka 加速业务实时化
阿里云技术
03-01 1037
广义概念上，能够捕获数据变更的技术统称为 CDC（Change Data Capture）。通常我们说的 CDC 主要面向数据库的变更，是一种用于捕获数据库中数据变化的技术。
Flink CDC：基于 Apache Flink 的流式数据集成框架
最新发布
weixin_30011833的博客
08-13 61
摘要：本文整理自阿里云FlinkSQL团队研发工程师于喜千（yux）在SECon全球软件工程技术大会中数据集成专场沙龙的分享。内容主要为以下四部分：FlinkCDC开源社区介绍；FlinkCDC的演进历史；FlinkCDC3.x核心特性解读；基于FlinkCDC的实时数据集成实践。1.Flin...
MySQL-FlinkCDC-Hudi实时入湖
xiaoyixiao_的博客
07-30 1778
实时入湖
Flink sql cdc 读取kafka json格式数据
xiaoc100200的博客
12-05 3425
Flink CDC 读取kafka json格式数据 package com.com.cdc import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.{EnvironmentSettings, Table} import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.flink.type.
flinkcdc將MySQL數據寫入kafka
m0_37759590的博客
04-12 488
flinkcdc將MySQL數據寫入kafka
(mysql和pg) -＞ flink-cdc -＞ kafka -＞ flink-sql -＞ StarRocks
java技术分享
11-22 221
【代码】(mysql和pg) -＞ flink-cdc -＞ kafka -＞ flink-sql -＞ StarRocks。
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-20 2176
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-20 2542
本方案的技术链路为：使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Kafka Connect > Kafka ＆ Sche
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-01 2088
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
flink-sql-connector-postgres-cdc-1.2.0.jar
03-05
flink cdc postgres 数据同步 jar包，2021年最新版
flink mysql cdc到kafka
踏云追月
01-13 7784
思路： 1、创建flink mysql cdc表 2、将order join products的结果写入到kafka表中。 这样就相当于完成了，DWD中的事实表构建。写入到kafka中，等待消费构建DWS或者ADS。 主要参考https://ververica.github.io/flink-cdc-connectors/master/content/快速上手/index.html 安装flink1.3.5 启动单机版 flink ./bin/start-cluster.sh 启动flink
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步
weixin_37788200的博客
06-11 2579
通过flink-cdc实现kafka数据源的数据实时同步到目标数据库，并对目标库进行增删改操作
Flink CDC 和 kafka 进行多源合并和下游同步方案
野狼e族 的博客
01-31 9852
一、前言 本文主要是针对 Flink SQL 使用 Flink CDC 无法实现多库多表的多源合并问题，以及多源合并后如何对下游 Kafka 同步更新的问题，因为目前 Flink SQL 也只能进行单表 Flink CDC 的作业操作，这会导致数据库 CDC 的连接数过多。 但是 Flink CDC 的 DataStream API 是可以进行多库多表的同步操作的，本文希望利用 Flink CDC 的 DataStream API 进行多源合并后导入一个总线 Kafka，下游只需连接总线 kafka 就可以
FlinkCDC读取MySQL并写入Kafka案例(com.ververica)
硅谷工具人
01-20 2497
该方法使用的是com.ververica版本的flink-connector-mysql-cdc，另一个版本测试也没问题了，见https://www.cnblogs.com/30go/p/15773357.html。 注意版本，不同版本组合可能会出现一些异常的情况： flink1.12.7 flink-connector-mysql-cdc 2.1.1(com.ververica) 需要...
flinkcdc binlog到kafka
Steven
06-30 1350
flinkcdc binlog到kafka
Flink 1.14测试cdc写入到kafka案例
Rocky
04-10 1335
Flink cdc实时数据采集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值