CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi

已于 2024-06-06 09:07:02 修改
阅读量1.1k 收藏 10
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 大数据专题 付费专栏 CDC数据入湖方案 • 合集 文章标签： flink cdc 集成 整合 kafka hudi 方案
于 2024-02-20 11:27:20 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/136054759
本文介绍了一种使用Flink CDC从MySQL抓取数据，通过Kafka作为中间层，最终将数据写入Hudi湖的实时处理方案。详细步骤包括环境准备、Flink CDC源表创建、Kafka中间表创建、Hudi目标表创建，并提供了相关资源链接以供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客 CDC 数据入湖系列方案中最为基础的一套，技术堆栈较为简单，适合作为 POC 方案快速搭建 CDC 实时处理链路。如果寻求更适合生产环境的高阶解决方案，请参考：

了解本专栏 订阅专栏 解锁全文
生产级 Flink CDC 应用开发与部署：MySQL 到 Kafka 同步示例
RodJohnsonDoctor的专栏
05-11 566
本文介绍了如何将 Flink CDC 应用开发并部署为独立服务，实现 MySQL 到 Kafka 的数据同步。文章提供了完整的工程代码示例，包括工程结构、Maven 配置和核心代码实现。工程结构清晰，包含主类 CdcToKafkaJob.java、配置文件 AppConfig.java 和数据模型 User.java。Maven 配置中定义了 Flink、Flink CDC、Kafka 等依赖项，并通过 maven-shade-plugin 进行打包。核心代码展示了如何使用 Flink CDC 从 MySQ
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-20 2451
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
Flink CDC 和 kafka 进行多源合并和下游同步方案
热门推荐
野狼e族 的博客
01-31 1万+
一、前言 本文主要是针对 Flink SQL 使用 Flink CDC 无法实现多库多表的多源合并问题，以及多源合并后如何对下游 Kafka 同步更新的问题，因为目前 Flink SQL 也只能进行单表 Flink CDC 的作业操作，这会导致数据库 CDC 的连接数过多。 但是 Flink CDC 的 DataStream API 是可以进行多库多表的同步操作的，本文希望利用 Flink CDC 的 DataStream API 进行多源合并后导入一个总线 Kafka，下游只需连接总线 kafka 就可以
flink sql -mysql cdc 到hudi表在输出到kafka中
wudonglianga的专栏
09-05 1083
flink sql -mysql cdc 到hudi表在输出到kafka中。
Flink CDC 如何简化数据入湖
weixin_52268321的博客
03-21 2682
1 概述 CDC 的全称： Change Data Capture 。在广义的概念上，只要是能捕获数据变更的技术，都可以称之为CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术 数据湖： 数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。 2 Flink CDC 性能测试 阿里巴巴技术专家—伍翀(
flink mysql cdc到kafka
踏云追月
01-13 8092
思路： 1、创建flink mysql cdc表 2、将order join products的结果写入到kafka表中。 这样就相当于完成了，DWD中的事实表构建。写入到kafka中，等待消费构建DWS或者ADS。 主要参考https://ververica.github.io/flink-cdc-connectors/master/content/快速上手/index.html 安装flink1.3.5 启动单机版 flink ./bin/start-cluster.sh 启动flink
Flink CDC 实时同步MySQL数据到Kafka
WB231444的博客
01-19 3446
flink cdc底层就是通过监控mysql的binlog日志，实时捕获到一个表或多个表的变更；所以必须开启mysql的binlog日志。mysql配置文件默认位于/etc/目录下，直接用过以下命令开启。如果cdc版本用了2.4.0出现异常的可以退回2.3.0。
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步
weixin_37788200的博客
06-11 2803
通过flink-cdc实现kafka数据源的数据实时同步到目标数据库，并对目标库进行增删改操作
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-01 2284
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-19 1838
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Flink CDC > Kafka ＆ Schema Registry > Hudi ( Flink Connector ) 》介绍的
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-20 2786
本方案的技术链路为：使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Kafka Connect > Kafka ＆ Sche
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
Ververica的博客
09-17 514
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文作者是 37 手游大数据开发徐润柏，介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC +...
使用Flink MySQL cdc分别sink到ES、Kafka、Hudi
白杨Shayne的博客
05-14 1948
进入hudi目录，修改hudi/pom.xml，修改对应组件的版本，由于flink使用的是scala-2.11版本，spark3.x版本以上默认使用scala-2.12预编译，为了节省时间，我们在此使用spark2.4.8以scala-2.11预编译的版本，对应的hadoop版本为2.7。- 修改hadoop-2.7.3/etc/hadoop/hdfs-site.xml，如果目录不存在，给创建上。- 修改hadoop-2.7.3/etc/hadoop/mapred-site.xml。
Flink CDC+Kafka 加速业务实时化
阿里云云栖号
03-01 1258
广义概念上，能够捕获数据变更的技术统称为 CDC（Change Data Capture）。通常我们说的 CDC 主要面向数据库的变更，是一种用于捕获数据库中数据变化的技术。
Flink CDC + Kafka：实时加速业务的关键
VqhhMobile的博客
09-21 401
Flink CDC是基于Flink框架的一种数据同步解决方案，用于捕获和传输数据库中的变更数据。它可以以低延迟的方式捕获源数据库中的数据变更，并将其发送到下游系统进行处理。Flink CDC提供了与各种数据库（如MySQL、PostgreSQL等）的集成，使得数据的实时同步变得更加简单高效。Flink CDC通过监视源数据库的日志（如MySQL的binlog）来捕获数据变更。这样可以避免对源数据库的额外负载，同时提供了较低的延迟。
Flink实战 | PostgresCDC整库同步Kafka最佳实践
最新发布
Tinwares的博客
11-28 1853
PostgresCDC整库同步Kafka最佳实践
Flink CDC + Hudi 海量数据入湖在顺丰的实践
weixin_70923796的博客
07-13 384
主要内容包括：顺丰数据集成背景Flink CDC 实践问题与优化未来规划一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果需要对这些数据进行数据分析，那么数据集成是其中很重要的一步。顺丰的数据集成经历了几年的发展，主要分为两块，一块是离线数据集成，一块是实时数据集成。离线数据集成以 DataX 为主，本文主要介绍实时数据集成方
Flink sql cdc 读取kafka json格式数据
xiaoc100200的博客
12-05 3564
Flink CDC 读取kafka json格式数据 package com.com.cdc import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.{EnvironmentSettings, Table} import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.flink.type.
flink cdc hudi
09-14
Flink CDC是Flink的一个功能模块，用于实时捕获和处理数据库变更。它可以将数据库中的变更数据以流的形式输出，并提供了一些API和工具来支持数据的转换和处理。 Hudi（Hadoop Upserts anD Incrementals）是一种用于大规模数据湖的开源存储和处理框架。它提供了基于日志的增量写入和查询功能，支持数据的实时插入、更新和查询。通过将Flink CDC和Hudi结合使用，可以实现将通过Flink CDC捕获到的两张表的数据合并成一张视图，并同时写入到数据湖（Hudi）和Kafka中。 具体步骤如下： 1. 首先需要配置Flink CDC来捕获两张表的变更数据。根据具体的数据库类型和配置，将Flink CDC连接到数据库，并配置需要捕获的表信息。 2. 使用Flink的DataStream API来处理捕获到的变更数据。你可以使用Flink的转换和操作函数来对数据进行合并、过滤、转换等操作，以满足你的需求。 3. 将处理后的数据同时写入到数据湖（Hudi）和Kafka中。你可以使用Flink的Hudi Sink和Kafka Sink来将数据写入到相应的目标系统中。配置Hudi Sink时，你需要指定Hudi的表名、数据写入模式（例如增量写入或覆盖写入）、存储路径等信息。配置Kafka Sink时，你需要指定Kafka的连接信息、主题等信息。 4. 确保Flink应用程序在运行时具备足够的资源和容错机制。你可以根据数据量和处理需求来调整Flink任务的并行度、内存分配等参数，以保证流处理的性能和可靠性。 总结起来，通过配置Flink CDC来捕获数据库的变更数据，然后使用Flink的DataStream API来处理数据，并将处理后的数据同时写入到Hudi和Kafka中，就可以实现Flink CDC和Hudi的结合应用。这样可以将两张表的数据合并成一张视图，并且将数据保存到数据湖和发送到Kafka中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值