Hudi 多表摄取工具 HoodieMultiTableStreamer 配置方法与示例

已于 2024-06-04 08:35:55 修改
阅读量2.8k 收藏 13
点赞数 37
CC 4.0 BY-SA版权
分类专栏： 付费专栏 大数据专题 文章标签： hudi deltastreamer multitable 多表 配置 示例 文件
于 2024-05-22 14:14:24 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/139113597
本文介绍了Hudi的多表摄取工具HoodieMultiTableStreamer的配置方法，包括两种处理公共配置和差异配置的方式，首选的约定命名规则简化配置，启用Schema Registry时的Schema URL配置，以及重点参数解析和完整示例。
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

1. 多表公共配置和差异配置的两种处理方式


由于 Hudi 的 HoodieMultiTableStreamer / HoodieMultiTableDeltaStreamer 是一次处理多张 Hudi 表的写入，这些表既会有如 hoodie.deltas

了解本专栏 订阅专栏 解锁全文
使用 HoodieMultiTableStreamer 进行 Debezium CDC 多表同步入湖的研究报告
Laurence的技术博客
05-18 1299
先介绍一下大的背景吧，我们已经能通过 Flink CDC 将整个数据库同步到 Kafka 中了，这一部分的实现方案已经汇总在了 《Flink CDC 整库 / 多表同步至 Kafka 方案（附源码）》一文中。接下来要完成的是后半程的工作：读取 Kafka 的 Debezium CDC 数据写入到数据湖的 Hudi 表中，这样就能完整地实现整个数据库同步入湖的设计目标，当然，要求还是：“源库整库 / 多表 => Kafka”是一个作业，“Kakfa => Hudi 整库 / 多表”也是一个作业，这样才有比较强
Apache Hudi HoodieMultiTableDeltaStreamer 多表接入 CDC 数据测试报告和结论
Laurence的技术博客
07-16 486
首先，强调一下测试环境：本次测试是在AWS EMR Serverless EMR 6.10 和 6.11 两个版本上进行的，对应的Hudi版本是0.12.2和0.13.0，该测试的结论在同版本的开源Spark和Hudi上不一定成立，请知悉。其次，在同一测试环境下，单表的 CDC 数据接入已经测试完毕并发表在：《…》，多表接入的细节汇总在此文中。先说重要结论
使用Apache Spark和Apache Hudi构建分析数据湖
xleesf
06-15 1723
欢迎关注微信公众号：ApacheHudi 1. 引入 大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。 但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运行分析。 通常这会导致使用用于流和批处理的多个系统，前者处理增
Hudi的相关参数配置
qq_44780870的博客
05-08 1819
hoodie.table.compaction.strategy: 压缩策略，包括 org.apache.hudi.DefaultCompactionStrategy、org.apache.hudi.AvroCompactionStrategy 和 org.apache.hudi.timeline.service.FIFOCleanBasedCompactionStrategy 等。hoodie.datasource.write.partitionpath.field: 分区键的字段名。
HoodieDeltaStreamer流程图
WZCAJS的博客
11-01 474
大概画了一下 hudi中自带的CDC工具类HoodieDeltaStreamer流程图
Hudi（9）：Hudi集成Spark之DeltaStreamer导入工具
yang_shibiao的博客
01-04 846
HoodieDeltaStreamer工具 (hudi-utilities-bundle中的一部分) 提供了从DFS或Kafka等不同来源进行摄取的方式，并具有以下功能：  精准一次从Kafka采集新数据，从Sqoop、HiveIncrementalPuller的输出或DFS文件夹下的文件增量导入。  导入的数据支持json、avro或自定义数据类型。  管理检查点，回滚和恢复。  利用 DFS 或 Confluent schema registry的 Avro Schema。  支持自定义转换操
精选资源
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )
Laurence的技术博客
05-20 2954
本方案的技术链路为：使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Kafka Connect > Kafka ＆ Sche
Hudi的7种索引
一名程序猿的博客
03-03 3054
Hudi的7种索引
流批一体--将Kafka流式数据摄取至Hudi
.
11-16 4409
Hudi支持以下存储数据的视图 读优化视图 : 在此视图上的查询将查看给定提交或压缩操作中数据集的最新快照。该视图仅将最新parquet文件暴露给查询，所以它有可能看不到最新的数据，并保证与非Hudi列式数据集相比，具有相同的列式查询性能 增量视图 : 对该视图的查询只能看到从某个提交/压缩后写入数据集的新数据。该视图有效地提供了更改流，来支持增量数据管道。 实时视图 : 在此视图上的查询将查看某个增量提交操作中数据集的最新快照。该视图通过动态合并最新的基本文件和增量文件来提供近实时数据集。 一、将.
Spark写入Hudi的分区推断
阳龙生
04-27 686
spark写入Hudi哪些配置可以简化？
大数据hudi之集成flink:核心参数设置
weixin_43597208的博客
09-05 526
注意：如果没有按照5.2.1中yarn-session模式解决hadoop依赖冲突问题，那么无法compaction生成parquet文件，报错很隐晦，在Exception中看不到，要搜索TaskManager中关于compaction才能看到报错。在进行insert/upsert操作时，Hudi可以将文件大小维护在一个指定文件大小。可以flink建表时在with中指定，或Hints临时指定参数的方式：在需要调整的表名后面加上 /*+ OPTIONS() */
Hudi常用参数-写入操作相关参数配置
最新发布
weixin_61938673的博客
08-27 903
hudi的写入相关配置
余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术
weixin_45810046的博客
05-27 1313
1.前言 1.1为什么产生数据湖 数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。什么是结构化数据，就是数据成数据库来的，传统型的数据库有：MySQL数据库、Oracle、SQLserver，从这些库里面过来的数据都是结构化数据。日志、json、xml是属于半结构化数据，结构化数据和半结构化数据就是当前数仓所做的功能。数据湖的产生就是为了解决非结构化数据和二进制数据，主要就是处理非结构化数据，非结构化数据主要是：图片、视频、音频。 1.2数据湖的性能特点 1、新增支持特
一文彻底掌握Apache Hudi的主键和分区配置
xleesf
04-10 2927
欢迎关注微信公众号：ApacheHudi 1. 介绍 Hudi中的每个记录都由HoodieKey唯一标识，HoodieKey由记录键和记录所属的分区路径组成。基于此设计Hudi可以将更新和删除快速应用于指定记录。Hudi使用分区路径字段对数据集进行分区，并且分区内的记录有唯一的记录键。由于仅在分区内保证唯一性，因此在不同分区之间可能存在具有相同记录键的记录。应该明智地选择分区字段，因为它可能影响摄取和查询延迟。 2. KeyGenerators(键生成器) Hudi提供了一些开箱即用的键生成器，用户可以基于
使用 Apache Hudi、Kafka、Hive 和 Debezium 构建开放数据湖
从大数据到人工智能的博客
01-26 1375
总览 在接下来的文章中，我们将学习如何使用开源软件 (OSS) 在 AWS 上构建数据湖，包括 Red Hat 的 Debezium、Apache Kafka、Kafka Connect、Apache Hive、Apache Spark、Apache Hudi 和 Hudi DeltaStreamer。 我们将使用完全托管的 AWS 服务来托管数据源、数据湖和开源工具。 这些服务包括 Amazon RDS、MKS、EKS、EMR 和 S3。 工作流程 如上面的架构图所示，这些是演示工作流.
华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践
HWCloudDeveloper的博客
03-26 1165
背景 传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。 然而实时同步从一开始就面临如下几个挑战： 小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS时都是几MB甚至几十KB的文件。长时间下来产生的大量小文件，会对HDFS namenode产生巨大的压力
Hudi DeltaStreamer使用总结
主要分享大数据相关的知识，如Spark、Hudi
06-24 1518
总结如何利用Hudi DeltaStreamer工具从外部数据源读取数据并写入新的Hudi表，是hudi-utilities-bundle的一部分，按照Apache Hudi 入门学习总结,将hudi-spark-bundle包拷贝至$SPARK_HOME/jars目录下即可。提供了从DFS或Kafka等不同来源进行摄取的方式，并具有以下功能。命令行选项更详细地描述了这些功能： 最新版本应该支持了更多参数，可以查阅官网：https://hudi.apache.org/cn/docs/hoodie_delta
Hudi自带工具DeltaStreamer的实时入湖最佳实践
华为云官方博客
08-02 2204
摘要：本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。 本文分享自华为云社区《华为FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践》，作者： 晋红轻 。 背景 传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。 然
flink写入hudi多表
07-20
在 Flink 中使用 Hudi 同时写入多个表，可以按照以下步骤进行： 1. 引入依赖：在 Flink 项目中的 pom.xml 文件中，添加 Hudi 相关的依赖，例如 hudi-flink、hudi-client 等。 2. 创建 Flink 流式作业：使用 Flink 的 DataStream API 创建流式作业，处理输入数据并准备写入 Hudi 表。 3. 配置 Hudi 写入：为每个需要写入的 Hudi 表创建一个 HudiTableConfig 对象，配置相应的表名、Schema、主键等信息。 4. 转换数据并写入 Hudi 表：根据需要写入的多个表，使用 Flink 的 DataStream API 进行数据转换操作，并将数据写入对应的 Hudi 表中。可以使用 `hudiWrite()` 函数将转换后的数据写入 Hudi 表。 ```java dataStream .map(new MyMapper()) // 自定义数据转换逻辑 .addSink(HoodieFlinkSink.create(hudiTableConfig1, ...)) // 将数据写入第一个 Hudi 表 .name("Hudi Sink 1"); dataStream .map(new MyMapper()) // 自定义数据转换逻辑 .addSink(HoodieFlinkSink.create(hudiTableConfig2, ...)) // 将数据写入第二个 Hudi 表 .name("Hudi Sink 2"); // 可以根据需要继续添加更多的 Hudi 表写入操作 ``` 5. 配置并执行 Flink 作业：为 Flink 作业配置必要的参数，例如并行度、检查点等，并执行作业。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // 设置并行度 env.enableCheckpointing(5000); // 开启检查点 // 创建流式作业，处理数据并写入 Hudi 表 env.execute("Flink Hudi Multiple Tables Job"); ``` 需要注意的是，在配置 Hudi 表时，要确保每个表都有唯一的表名和主键，且 Schema 结构与输入数据一致。另外，为了保证数据一致性和容错能力，在 Flink 作业中开启检查点功能是一个好的实践。 以上是一个简单的示例，具体的实现还需要根据你的实际需求和数据处理逻辑进行调整。同时，还需要根据 Hudi 和 Flink 的版本进行适配和配置。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值