Hudi源码|bootstrap源码分析总结（写Hudi）

已于 2022-11-18 15:28:17 修改
阅读量3k 收藏 52
点赞数 62
CC 4.0 BY-SA版权
分类专栏： Hudi 源码 Spark 文章标签： bootstrap 大数据 Hudi
于 2022-10-18 10:38:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/127383512
本文详细分析了Apache Hudi的Bootstrap源码，涉及HoodieSparkSqlWriter.bootstrap、HoodieSparkCopyOnWriteTable.bootstrap、SparkBootstrapCommitActionExecutor.execute等关键步骤，解释了METADATA_ONLY和FULL_RECORD模式的区分，并探讨了生产者-消费者模型在Hudi Bootstrap中的应用。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi源码|Insert源码分析总结（一）(整体流程)
主要分享大数据相关的知识，如Spark、Hudi
11-11 3922
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
Hudi源码 | Insert源码分析总结（二）(WorkloadProfile)
主要分享大数据相关的知识，如Spark、Hudi
11-17 3248
Hudi源码 | Insert源码分析总结（一）(整体流程)，继续进行Apache Hudi Insert源码分析总结，本文主要分析上文提到的关于的分析一共就这么多，主要是统计record中每个分区路径对应的insert/upsert数量以及upsert数据对应的fileId和,先持久化到.inflight文件中，然后给后面的使用。关于统计的这些信息是如何在中使用的，我们放在下篇文章中分析。
Apache hudi 源码分析 - 写时处理优化小文件问题
507_fzs的博客
03-15 6493
flink 如何写时处理小文件问题
Flink Hudi分析
qq276726581的博客
02-15 2604
Flink Hudi分析 本代码分析基于Flink1.13.1、Hudi0.10.0 -- 生成数据 create table datagen ( id bigint, prod_id bigint, price int, uid bigint, buy_time timestamp ) with ( 'connector' = 'datagen' ); -- hudi数据表 create ta
Unity3d HUD插件
01-22
UI界面的ToolTip功能实现，可以定制图标，说明，类似游戏技能说明效果
ue4-UMG和HUD绘制UI
.
01-20 2万+
编辑器中编辑UI并使用 1. 控件蓝图 新建控件蓝图 双击进入编辑 为控件创建animation 触发动画逻辑定义 2. 编辑游戏中HUD的事件逻辑 UI设计 UI中控件的逻辑 函数GetTimerPercentage的定义 3. HUD 和 UserWiget 详解 HUD：学名叫抬头显示设备 也就是屏幕上的显示仪，只能用来看，不能类似按钮等可以触发事件，每帧绘制可以获取数据打印到屏幕
01 hudi 1.0.1源码编译（常见问题处理）
QYmufeng的博客
03-11 279
maven：3.9.9hudi：1.0.1Spark：3.3.2Flink：1.15.2Hadoop：3.3.4Hive：3.1.3官网：Download Apache Maven – Maven 2.2. 设置环境变量 2.3. 添加Maven镜像 vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml 3. 编译hudi 3.1. 下载hudi源码 官网：Download | Apache Hudi修改 hudi-1.0.1
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
主要分享大数据相关的知识，如Spark、Hudi
10-12 1878
在最开始学习Hudi源码时，就发现了Hudi有一个Bootstrap功能，但是一直没用过，通过官网文档可知,它可以将现有的表件转化为Hudi表，而且有两种类型和，但是文档并不详细，比如这两种类型的区别具体是啥，支持哪些文件类型的源表。于是带着这些疑问来学习一下它是如何使用的以及源码原理的实现，这样可以更全面的了解Hudi。本文介绍了如何利用Hudi Bootstrap转化现有Hive表为Hudi表，提供了完整的代码示例，并分析了和。
Hudi Flink SQL源码调试学习（二）- Transformation/StreamOperator总结 - StreamGraph和JobGraph的生成过程
主要分享大数据相关的知识，如Spark、Hudi
08-29 380
和上篇文章Hudi Flink SQL源码调试学习（一）一样：本着学习hudi-flink源码的目的，利用之前总结的文章中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。本文主要总结 Flink 的, 写Hudi与的关系以及Hudi有哪些自定义的，还有Flink的四层执行图以及和JobGraph的生成构建过程。DummySink。
自定义HUD显示的View,并在指定的时间段后自动隐藏
我的专栏
10-08 1672
MBProgressHUD *HUD = [[MBProgressHUD alloc] initWithView:self.navigationController.view]; [self.navigationController.view addSubview:HUD]; HUD.customView = [[[UIImageView alloc] initWithImage:[UIIm
Spark DataFrame按某列降序排序
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
07-08 3万+
本文总结如何将DataFrame按某列降序排序，因为Spark默认的排序方式为升序，而降序的用法和java语言等又不一样，所以需要特地总结记录一下其用法。 2、默认的升序排序效果(按col2排序，以下都是) 3、降序方法一 这个方法在前面加上负号-即可，看起来挺简单的，但是其实这种方法不能在第一次构建df的时候进行排序，必须先创建...
Spark UDF使用详解及代码示例
主要分享大数据相关的知识，如Spark、Hudi
08-03 3万+
本文介绍如何在Spark Sql和DataFrame中使用UDF，如何利用UDF给一个表或者一个DataFrame根据需求添加几列，并给出了旧版（Spark1.x）和新版（Spark2.x）完整的代码示例。下面以Spark2.x为例给出代码，关于Spark1.x创建DataFrame可在最后的完整代码里查看。 2、Spark Sql用法...
Spark 持久化（cache和persist的区别）
主要分享大数据相关的知识，如Spark、Hudi
06-20 2万+
转载请务必注明原创地址为：https://dongkelun.com/2018/06/03/sparkCacheAndPersist/ 1、RDD 持久化 Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据......
spark 将DataFrame所有的列类型改为double
主要分享大数据相关的知识，如Spark、Hudi
05-09 2万+
由于spark机器学习要求输入的DataFrame类型为数值类型，所以如果原始数据读进来的列为string类型，需要一一转化，而如果列很多的情况下一个转化很麻烦，所以能不能一个循环或者一个函数去解决呢。 2、循环转变 然后就想能不能用这个方法循环把每一列转成double，但没想到怎么实现，可以用withColumn循环实现。 3、通过:...
Spark读取压缩文件
主要分享大数据相关的知识，如Spark、Hudi
06-05 1万+
转载请务必注明原创地址为：https://dongkelun.com/2018/05/30/sparkGZ/ 前言 本文讲如何用spark读取gz类型的压缩文件，以及如何解决我遇到的各种问题。 1、文件压缩 下面这一部分摘自Spark快速大数据分析：   在大数据工作中，我们经常需要对数据进行压缩以节省存储空间和网络传输开销。对于大多数Hadoop输出格式来说，我们可以指定一种压缩编......
Spark 创建RDD、DataFrame各种情况的默认分区数
主要分享大数据相关的知识，如Spark、Hudi
08-14 1万+
我的原创地址：https://dongkelun.com/2018/08/13/sparkDefaultPartitionNums/ 前言 熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数......
Spark 异常总结及解决办法
主要分享大数据相关的知识，如Spark、Hudi
02-28 1万+
我的原创地址：https://dongkelun.com/2019/01/09/sparkExceptions/ 前言 总结Spark开发中遇到的异常及解决办法，之前也写过几篇，之所以不再一个异常写一篇博客，是因为现在Spark用的比较熟悉了一些，觉得没必要把异常信息写那么详细了，所以就把异常总结在一篇博客里了，这样既能备忘也方便查找。 1、之前的几篇 spark-submit报错:Excep......
scala 两个map合并，key相同时value相加
主要分享大数据相关的知识，如Spark、Hudi
05-08 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/04/01/scalaMapAdd/ 1、先看一下map自带的合并操作的效果 val map1 = Map("key1" -> 1, "key2" -> 3, "key3" ->
Spark Sql 连接mysql
主要分享大数据相关的知识，如Spark、Hudi
05-09 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法（摘自spark官方文档中文版） Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便......
hudi源码
最新发布
03-24
<think>好的，用户想了解Hudi的源码，我需要先整理Hudi的基本概念和核心模块，确保自己理解正确。Hudi是用于大数据湖的存储层，支持增量和流式处理。首先得回忆它的架构，比如时间轴、存储类型（COW和MOR），以及核心功能如upsert、增量查询等。 接下来要确定用户的需求层次。用户可能不只是想了解表面结构，而是想深入源码，可能是为了二次开发或解决问题。需要明确用户是开发者还是架构师，但用户没有说明，所以得覆盖基础到进阶的内容。 用户提到系统级指令，要求用中文回答，结构清晰，分步骤。所以应该先介绍Hudi源码结构，再分模块详细说明，比如hudi-client、hudi-common等，每个模块的作用和核心类。然后讲解关键流程，比如写入和读取，结合源码中的关键类和方法，比如HoodieWriteClient、HoodieTable等。 还要注意用户提到的LaTeX格式，所有行内数学表达式要用$...$，独立公式用$$...$$。不过Hudi源码介绍可能涉及较少数学公式，但如果有涉及数据结构的算法，可能需要用LaTeX，比如时间轴的管理逻辑或索引结构。 需要检查Hudi的最新版本是否有结构变化，比如0.10.0之后的模块是否有调整。例如，hudi-spark模块可能整合了Spark的DataSource实现，而hudi-flink对应Flink的支持。要确保信息准确，可能需要参考官方文档或最新源码结构。 另外，用户可能需要知道如何开始阅读源码，比如从入口类开始，建议从写流程入手，比如HoodieSparkSqlWriter，或者测试案例入手。或者如何调试，设置本地环境，这部分如果有余力可以补充。 最后要确保回答真实可靠，避免错误。比如Hudi的核心模块是否包括hudi-client，或者是否有其他关键模块如hudi-hive-sync。需要确认各个模块的职责，比如hudi-common是否包含工具类和通用模型，hudi-client是否负责与计算引擎交互。 总结步骤：介绍Hudi总体结构，分模块说明，关键流程的源码解析，建议的学习路径，可能遇到的问题和解决思路。同时注意语言口语化，避免过于技术化的术语堆砌，但又要准确。</think>Hudi（Hadoop Upserts Deletes and Incrementals）是一个开源数据湖管理框架，其源码设计围绕高效的数据更新、增量处理和流批一体等核心能力展开。以下是逐步解析其源码关键模块和设计逻辑： --- ### 一、Hudi源码结构概览 Hudi源码采用模块化设计，主要模块包括： 1. **hudi-common** - 基础工具类（时间处理、配置解析） - 核心数据模型（`HoodieRecord`, `HoodieKey`） - 文件系统抽象（`HoodieWrapperFileSystem`） ```java // 示例：HoodieRecord定义（数据记录的基础单元） public class HoodieRecord<T> implements Serializable { private HoodieKey hoodieKey; private T data; // 包含数据、元数据及操作类型（INSERT/UPDATE/DELETE） } ``` 2. **hudi-client** - 写入逻辑入口（`HoodieWriteClient`） - 表元数据管理（`HoodieTableMetaClient`） - 事务控制（`AbstractHoodieWriteClient`） 3. **hudi-hadoop-mr** - MapReduce集成（Hudi输入输出格式实现） 4. **hudi-spark** - Spark DataSource V1/V2实现（`HoodieSparkSqlWriter`） - Spark SQL扩展（MERGE INTO语法支持） 5. **hudi-flink** - Flink流式写入逻辑（`FlinkWriteClient`） --- ### 二、关键流程源码解析 #### 1. 写入流程（Upsert） - **入口类**：`HoodieWriteClient#upsert` - **核心步骤**： 1. **数据分区**：根据`HoodieKey`的PartitionPath字段进行Shuffle 2. **索引查找**：通过`HoodieIndex`（BloomFilter或HBase索引）判断记录是否存在 3. **文件合并**：对Base文件（Parquet）和增量日志（Log文件）进行合并（MOR表） 4. **提交元数据**：在`.hoodie`目录生成新的Commit文件 ```java // 示例：写入流程伪代码 JavaRDD<HoodieRecord> records = ...; HoodieWriteConfig config = ...; HoodieWriteClient client = new HoodieWriteClient(sparkContext, config); client.upsert(records, commitTime); ``` #### 2. 读取流程（增量查询） - **入口类**：`HoodieFileIndex`（Spark）或`HoodieFlinkStreamer`（Flink） - **核心逻辑**： - 通过时间轴（`HoodieTimeline`）过滤出增量Commit - 构造`HoodieIncrementalFileSplit`读取增量数据 ```scala // Spark增量查询示例 spark.read.format("hudi") .option(QUERY_TYPE_OPT_KEY, QUERY_TYPE_INCREMENTAL_OPT_VAL) .load(tablePath) ``` --- ### 三、核心设计思想 1. **时间轴（Timeline）** - 基于日志序列（`.hoodie/*.commit`）实现ACID语义 - 支持`COMMIT`、`DELTA_COMMIT`、`COMPACTION`等操作类型 2. **文件组织** - **COW（Copy-on-Write）表**：直接更新Parquet文件 - **MOR（Merge-on-Read）表**：Base文件 + Avro日志文件（减少写放大） 3. **索引机制** - **全局索引**：跨分区更新（通过HBase或自定义索引实现） - **本地索引**：仅当前分区内查找（性能更高） --- ### 四、学习Hudi源码的建议路径 1. **从测试用例入手** - 模块`hudi-client/src/test`包含大量写入/查询场景测试 2. **调试关键流程** - 本地运行`TestHoodieClientBase`或`TestHoodieSparkSqlWriter` 3. **深入存储格式** - 分析`HoodieParquetWriter`和`HoodieLogFormat`的实现 --- ### 五、常见问题定位 - **数据重复问题**：检查索引实现（是否启用全局索引） - **写入性能瓶颈**：调整文件大小（`hoodie.parquet.max.file.size`）或压缩策略 - **元数据冲突**：检查时间戳生成逻辑（`HoodieActiveTimeline#createNewCommitTime`） 通过理解Hudi的模块化设计和核心流程，开发者可快速定位问题或进行二次开发扩展（如支持新的计算引擎）。
评论 134
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值