CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )

已于 2024-09-02 12:10:26 修改
阅读量2.5k 收藏 19
点赞数 53
分类专栏： CDC数据入湖方案 • 合集 大数据专题 付费专栏 文章标签： cdc hudi schema registry multitable 多表 入湖
于 2024-05-20 15:25:42 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/139066086
版权
付费专栏 同时被 3 个专栏收录
94 篇文章 24 订阅 ¥99.90 ¥299.90
订阅专栏
大数据专题
184 篇文章 299 订阅
订阅专栏
CDC数据入湖方案 • 合集
32 篇文章 3 订阅
订阅专栏
该方案利用Kafka Connect和Debezium从MySQL获取CDC数据，通过Avro格式进入Kafka，再用Hudi的HoodieMultiTableStreamer将数据写入Hudi表。文章详细记录了单表和多表同步的过程，以及遇到的问题和解决方案。测试表明，Hudi 0.14.0版本的HoodieStreamer存在Bug，无法处理CDC数据，而HoodieDeltaStreamer在EMR Serverless上运行成功。
摘要由CSDN通过智能技术生成
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

本方案的技术链路为：使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMul

了解本专栏 订阅专栏 解锁全文
Laurence　
关注
专栏目录
订阅专栏
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-19 1570
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Flink CDC > Kafka ＆ Schema Registry > Hudi ( Flink Connector ) 》介绍的
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
最新发布
Laurence的技术博客
02-20 2176
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
使用 Apache Hudi、Kafka、Hive 和 Debezium 构建开放数据湖
从大数据到人工智能的博客
01-26 1153
总览 在接下来的文章中，我们将学习如何使用开源软件 (OSS) 在 AWS 上构建数据湖，包括 Red Hat 的 Debezium、Apache Kafka、Kafka Connect、Apache Hive、Apache Spark、Apache Hudi 和 Hudi DeltaStreamer。 我们将使用完全托管的 AWS 服务来托管数据源、数据湖和开源工具。 这些服务包括 Amazon RDS、MKS、EKS、EMR 和 S3。 工作流程 如上面的架构图所示，这些是演示工作流.
Kafka Connect 分布式部署方案
Tu_maimes
12-30 1665
前言：Zookeeper、Kafak的集群部署这里不过多说明。 版本：Kafka2.3。 一 、 kafak Connect的分布式配置文件 ## # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTIC...
Kafka数据写入Hudi
qq_42599616的博客
01-15 1741
Kafka To Hudi1.配置pom.xml文件2.main方法入口 1.配置pom.xml文件 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.5</version> </dependency> <dependency>
流批一体--将Kafka流式数据摄取至Hudi
.
11-16 3927
Hudi支持以下存储数据的视图 读优化视图 : 在此视图上的查询将查看给定提交或压缩操作中数据集的最新快照。该视图仅将最新parquet文件暴露给查询，所以它有可能看不到最新的数据，并保证与非Hudi列式数据集相比，具有相同的列式查询性能 增量视图 : 对该视图的查询只能看到从某个提交/压缩后写入数据集的新数据。该视图有效地提供了更改流，来支持增量数据管道。 实时视图 : 在此视图上的查询将查看某个增量提交操作中数据集的最新快照。该视图通过动态合并最新的基本文件和增量文件来提供近实时数据集。 一、将.
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-01 2088
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
Laurence的技术博客
02-20 837
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
Linux出现Read-only file system错误的解决方法
热门推荐
Laurence的技术博客
02-26 5万+
造成这个问题的原因大多数是因为非正常关机后导致文件系统受损引起的，在系统重启之后，受损分区就会被Linux自动挂载为只读。解决的方法是通过fsck来修复文件系统，然后重启即可，以下是以针对/dev/xvde1分区，ext4文件系统分区的一个操作案例：fsck.ext4 -y /dev/xvde1本文只着重强调一点：要针对出问题的分区进行操作，在挂载了多个硬盘的机器上要仔细分辨一下。
HBase高性能复杂条件查询引擎
Laurence的技术博客
06-17 4万+
版权声明：本文由本人撰写并发表于2014年7月份的InfoQ，HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能，由于在前期架构时充分考虑了通用性以及对复杂条件的支持，在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。HBase在大数据领域的应用越来越广泛，成为目前NoSQL数据库中表现最耀眼，呼声最高的产品之一，但就应对复杂条件的查询来说，一般认为它并不是非常适合，熟悉HBase的开发人员对此应该有一定的体会，但是基于普遍的需求，开发者们希
OpenTSDB设计解读
Laurence的技术博客
06-15 4万+
OpenTSDB是基于HBase存储时间序列数据的一个开源数据库，确切地说，它只是一个HBase的应用而已，其对于时间序列数据的处理可以供其他系统参考和借鉴。本文会针对它在数据库的设计方面展开一些探索和讨论。本文基于的是OpenTSDB最早的一个稳定版本1.0.0进行讲解的，下载部署完成之后，我们首先需要了解的是它的数据库Schema， 它主要有两个表：tsdb-uid和tsdb. 前者描述指标（
Hadoop/Yarn/MapReduce内存分配（配置）方案
Laurence的技术博客
01-06 3万+
以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula
hadoop 2.2.0集群安装
Laurence的技术博客
04-27 2万+
1. 网络设置禁用防火墙service iptables stop禁用IPv6打开/etc/modprobe.d/dist.conf，添加：alias net-pf-10 offalias ipv6 off重新系统之后，可以通过命令：lsmod|grep ipv6查看ipv6模块是否已经不再加载2. 安装与配置2.1 安装前的准备在安装hadoop前需要安装ssh，配置各节点间的使用密钥免密码登录
Spark闭包与序列化
Laurence的技术博客
03-21 1万+
本文原文出处: http://blog.csdn.net/bluishglc/article/details/50945032 严禁任何形式的转载，否则将委托CSDN官方维护权益！在Spark的官方文档再三强调那些将要作用到RDD上的操作，都会被分发到各个worker节点上去执行，我们都知道，这些操作实际上就是一些函数和涉及的变量组成的闭包，这里显然涉及到一个容易被忽视的问题：闭包的“序列化”。显然
Ambari Metrics介绍
Laurence的技术博客
09-01 1万+
概念 Terminology Description Ambari Metrics System (“AMS”) The built-in metrics collection system for Ambari. Metrics Collector The standalone server that collects metrics, aggregates metrics,
hbase 0.98.1集群安装
Laurence的技术博客
04-27 1万+
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法，并对一些重要的设置项进行解释，本文原文链接：，转载请注明出处！1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系，请参考:  https://hbase.apache.org/book/configuration.html#hadoop 关于java
Hadoop源码解析之: TextInputFormat如何处理跨split的行
Laurence的技术博客
07-19 1万+
最常见的FormatInput就是TextInputFormat，在split的读取方面,它是将给到的Split按行读取,以行首字节在文件中的偏移做key,以行数据做value传给map函数处理,这部分的逻辑是由它所创建并使用的RecordReader:LineRecordReader封装和实现的.关于这部分逻辑,在一开始接触hadoop时会有一个常见的疑问:如果一个行被切分到两个split里(这几乎是一定会发生的情况),TextInputFormat是如何处理的?如果是生硬地把一行切割到两个split里,
HBase Block Cache的重要实现细节和In-Memory Cache的特点
Laurence的技术博客
03-19 1万+
每load一个block到cache时，都会检查当前cache的size是否已经超过了“警戒线”，这个“警戒线”是一个规定的当前block cache总体积占额定体积的安全比例，默认该值是0.85，即当加载了一个block到cache后总大小超过了既定的85%就可始触发异步的evict操作了。evict的逻辑是这样的：遍历cache中的所有block,根据它们所属的级别(single,multi,in-memory)分拨到三个优先级队列中，对头元素是最旧（最近访问日间值最小）的那个block。对这个三队列依
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值