Hudi源码 | Insert源码分析总结（二）(WorkloadProfile)

已于 2022-11-26 11:56:48 修改
阅读量3.1k 收藏 36
点赞数 51
CC 4.0 BY-SA版权
分类专栏： 源码 Hudi 文章标签： 大数据 数据湖 Hudi
于 2022-11-17 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/127888951
本文深入分析Apache Hudi Insert操作的WorkloadProfile，包括其构造、统计信息处理和持久化过程。WorkloadProfile用于记录每个分区的insert和update数量，update信息按fileId维度累计。通过buildProfile方法构建统计信息，然后通过saveWorkloadProfileMetadataToInflight持久化到.inflight文件。文章还提供了相关学习资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

接上篇文章：Hudi源码 | Insert源码分析总结（一）(整体流程)，继续进行Apache Hudi Insert源码分析总结，本文主要分析上文提到的WorkloadProfile

版本

Hudi 0.9.0

入口

入口在上篇文章中讲到的BaseJavaCommitActionExecutor的execute

    WorkloadProfile profile = null;
    if
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi源码|Insert源码分析总结（一）(整体流程)
主要分享大数据相关的知识，如Spark、Hudi
11-11 3871
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
主要分享大数据相关的知识，如Spark、Hudi
11-25 2211
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
理解磁盘访问I/O性能||IO Workload Profiles
漫步量化
05-05 1517
Overview 关于数据库的性能，对于column-oriented database，很多时候性能取决于计算机硬件的磁盘访问I/O性能。 一、Workload Profiles Workload Profiles In the most generic sense, a workload profile describes the behavior of an application, or portion of an application with respect to how it p..
MyEclipse在保存时总是building workspace，反应很慢（粘贴学习，以备后用）
qhnuwlxcsy的专栏
11-16 867
 突然发现MyEclipse不好用了，写代码习惯Ctrl+s，却发现每次都会building workspace，需要等待很长时间。实在受不了了就问度娘，千篇一律，却发现理论性很强，实践性不高。经高人指点，确实好了很多。 1.window-Perferences-MyEclipse-Validation 将Manual全部勾掉，Build只留Classpath Dependency Val
17张图带你彻底搞懂hudi upsert源码
h335146502的专栏
05-15 6378
前言 ​ 如果要深入了解apache hudi技术的应用或是性能调优，那么明白源码中的原理对我们会有很大的帮助。在apache hudi 中upsert 是他的核心功能之一，主要完成增量数据在hdfs上的修改，并可以支持事务。在hive中修改数据需要重新分区或重新整个表，但是对于hudi更新可以是文件级别的重写或是数据先进行追加后续在重写，对比Hive 大大的提高了更新性能。upsert支持两种模式的写入copy on write和merge on read ，下面本文将介绍Apache Hu
解决build workspace 缓慢的问题
weixin_30420305的博客
07-17 307
（1）、解决方法 方法1.修改eclipse启动文件 eclipse.ini 中添加启动参数参数: -vmargs -Xmx512m 方法2.关闭自动构建工作区: project -> build Auto…..　 方法3.在eclipse.ini式中添加了一个命令 -clean （2）、加大Eclipse运行可用最大内存数 ...
Apache Hudi初探(九)(与spark的结合)--非bulk_insert模式
monkeyboy_tech的博客
06-10 1346
来说，什么也不操作（因为该index每次都会从parquet文件中读取信息从而组装成index），构建一个状态信息，主要是记录一下插入的记录数量和更新的记录数量 其中主要形成了以。（默认是true）会进行元数据的commit操作，这些commit的操作和之前。，则会要求排序，如果没有则只是按照partitioner进行重分区，（这里暂时忽略），主要是对数据进行分区处理，设计到小文件的处理。操作，所以没有去重的需要，所以直接采用spark原生的方式，实例的构造方法中会进行一些额外的操作。
Hudi 写入流程（图）
主要分享大数据相关的知识，如Spark、Hudi
07-05 334
主要为之前总结的源码文章补充流程图。总结一下整体流程。
linux服务器性能优化参数设置
xsqm123的博客
11-21 2228
linux系统优化相关配置
Upsert在Hudi中的实现分析
xleesf
11-23 2182
介绍 Hudi支持Upsert语义，即将数据插入更新至Hudi数据集中，在借助索引机制完成数据查询后（查找记录位于哪个文件），再将该记录的位置信息回推至记录本身，然后对于已经存在于文件的记录使用UPDATE，而未存在于文件中的记录使用INSERT。本篇继续分析记录如何进行插入更新的。 分析 还是从HoodieBloomIndex#tagLocation开始进行分析，其核心代码如下。 public ...
YCSB workload工作负载参数设置
热门推荐
clever_wr的博客
04-03 1万+
YCSB作为一个工作负载测试工具，参数设置很重要，通过设置不同的read，update或者是insert比例得到的测试时间是不同的。 主要是通过以下命令来加载workloada工作负载文件测试具体数据库性能： bin/ycsb load DBname -s -P workloads/workloada 下面我提下YCSB工作负载参数具体的设置和说明，这里是(YCSB/workloads/w...
HUDI preCombinedField 总结(二)-源码分析
主要分享大数据相关的知识，如Spark、Hudi
02-22 1333
前言 在上一篇博客HUDI preCombinedField 总结中已经对preCombinedField进行总结过一次了，由于当时对源码理解还不够深入，导致分析的不全面，现在对源码有了进一步的理解，所以再进行总结补充一下。 历史比较值 上面总结中： DF：无论新记录的ts值是否大于历史记录的ts值，都会覆盖写，直接更新。 SQL:写数据时，ts值大于等于历史ts值，才会更新，小于历史值则不更新。 这里解释一下原因，首先Spark SQL PAYLOAD_CLASS_NAME 默认值为Expressio
RAG实战指南 Day 21：检索前处理与查询重写技术
在未来等你的专栏
07-22 1092
核心技术：查询清洗、意图识别、实体提取、查询重写和扩展实现方法：基于规则和基于LLM的两种主要技术路线系统集成：如何将查询预处理集成到现有RAG流程中电商案例：领域专用预处理器的实现和效果查询预处理是提升RAG系统效果的关键环节不同场景需要采用不同的预处理策略规则方法和LLM方法各有优劣，可组合使用明天我们将探讨【Day 22: 混合检索策略实现】，学习如何结合多种检索方法构建更强大的RAG系统。
2025 年非关系型数据库全面指南：类型、优势
Mirrorship的博客
07-22 1035
然而，随着技术的发展和业务需求的变化，传统的数据库分类边界正在逐渐模糊，融合型数据库解决方案正成为新的趋势。这种融合趋势催生了一批新型数据库产品，如 StarRocks、镜舟数据库等，它们既保留了关系型数据库的强一致性和 SQL 查询能力，又具备非关系型数据库的高扩展性和灵活性，为企业提供了更全面的数据管理解决方案。无论是传统的非关系型数据库还是新兴的融合型解决方案，选择适合的数据库技术都应该以业务需求为导向，以数据价值为中心，为企业的数字化转型和数据驱动决策提供坚实的技术基础。
大数据技术是解决什么问题的？
07-21 786
1 TB（太字节）= 1024 GB1 PB（拍字节）= 1024 TB。
Java-80 深入浅出 RPC Dubbo 动态服务降级：从雪崩防护到配置中心秒级生效
永远好奇，无限进步！
07-23 1685
动态服务降级是一种在系统高压或异常情况下，保障核心业务可用性的关键策略。**它通过设定触发条件（如高CPU、响应慢、错误率高等）自动或手动屏蔽非核心功能、简化数据或直接返回默认值，防止系统雪崩。典型场景包括电商大促、秒杀活动或第三方服务异常等。Dubbo支持多种降级方式，如mock=force:return+null和mock=fail:return+null，并可通过配置中心实现动态控制与秒级生效。结合限流、熔断等机制，服务降级是构建高可用分布式系统的重要手段。
大数据集群运维常见的一些问题以及处理方式
weixin_42795092的博客
07-21 682
【代码】大数据集群运维常见的一些问题以及处理方式。
统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？
最新发布
LRQ2025的博客
07-23 903
统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。
hudi源码
03-24
<think>好的，用户想了解Hudi的源码，我需要先整理Hudi的基本概念和核心模块，确保自己理解正确。Hudi是用于大数据湖的存储层，支持增量和流式处理。首先得回忆它的架构，比如时间轴、存储类型（COW和MOR），以及核心功能如upsert、增量查询等。 接下来要确定用户的需求层次。用户可能不只是想了解表面结构，而是想深入源码，可能是为了二次开发或解决问题。需要明确用户是开发者还是架构师，但用户没有说明，所以得覆盖基础到进阶的内容。 用户提到系统级指令，要求用中文回答，结构清晰，分步骤。所以应该先介绍Hudi源码结构，再分模块详细说明，比如hudi-client、hudi-common等，每个模块的作用和核心类。然后讲解关键流程，比如写入和读取，结合源码中的关键类和方法，比如HoodieWriteClient、HoodieTable等。 还要注意用户提到的LaTeX格式，所有行内数学表达式要用$...$，独立公式用$$...$$。不过Hudi源码介绍可能涉及较少数学公式，但如果有涉及数据结构的算法，可能需要用LaTeX，比如时间轴的管理逻辑或索引结构。 需要检查Hudi的最新版本是否有结构变化，比如0.10.0之后的模块是否有调整。例如，hudi-spark模块可能整合了Spark的DataSource实现，而hudi-flink对应Flink的支持。要确保信息准确，可能需要参考官方文档或最新源码结构。 另外，用户可能需要知道如何开始阅读源码，比如从入口类开始，建议从写流程入手，比如HoodieSparkSqlWriter，或者测试案例入手。或者如何调试，设置本地环境，这部分如果有余力可以补充。 最后要确保回答真实可靠，避免错误。比如Hudi的核心模块是否包括hudi-client，或者是否有其他关键模块如hudi-hive-sync。需要确认各个模块的职责，比如hudi-common是否包含工具类和通用模型，hudi-client是否负责与计算引擎交互。 总结步骤：介绍Hudi总体结构，分模块说明，关键流程的源码解析，建议的学习路径，可能遇到的问题和解决思路。同时注意语言口语化，避免过于技术化的术语堆砌，但又要准确。</think>Hudi（Hadoop Upserts Deletes and Incrementals）是一个开源数据湖管理框架，其源码设计围绕高效的数据更新、增量处理和流批一体等核心能力展开。以下是逐步解析其源码关键模块和设计逻辑： --- ### 一、Hudi源码结构概览 Hudi源码采用模块化设计，主要模块包括： 1. **hudi-common** - 基础工具类（时间处理、配置解析） - 核心数据模型（`HoodieRecord`, `HoodieKey`） - 文件系统抽象（`HoodieWrapperFileSystem`） ```java // 示例：HoodieRecord定义（数据记录的基础单元） public class HoodieRecord<T> implements Serializable { private HoodieKey hoodieKey; private T data; // 包含数据、元数据及操作类型（INSERT/UPDATE/DELETE） } ``` 2. **hudi-client** - 写入逻辑入口（`HoodieWriteClient`） - 表元数据管理（`HoodieTableMetaClient`） - 事务控制（`AbstractHoodieWriteClient`） 3. **hudi-hadoop-mr** - MapReduce集成（Hudi输入输出格式实现） 4. **hudi-spark** - Spark DataSource V1/V2实现（`HoodieSparkSqlWriter`） - Spark SQL扩展（MERGE INTO语法支持） 5. **hudi-flink** - Flink流式写入逻辑（`FlinkWriteClient`） --- ### 二、关键流程源码解析 #### 1. 写入流程（Upsert） - **入口类**：`HoodieWriteClient#upsert` - **核心步骤**： 1. **数据分区**：根据`HoodieKey`的PartitionPath字段进行Shuffle 2. **索引查找**：通过`HoodieIndex`（BloomFilter或HBase索引）判断记录是否存在 3. **文件合并**：对Base文件（Parquet）和增量日志（Log文件）进行合并（MOR表） 4. **提交元数据**：在`.hoodie`目录生成新的Commit文件 ```java // 示例：写入流程伪代码 JavaRDD<HoodieRecord> records = ...; HoodieWriteConfig config = ...; HoodieWriteClient client = new HoodieWriteClient(sparkContext, config); client.upsert(records, commitTime); ``` #### 2. 读取流程（增量查询） - **入口类**：`HoodieFileIndex`（Spark）或`HoodieFlinkStreamer`（Flink） - **核心逻辑**： - 通过时间轴（`HoodieTimeline`）过滤出增量Commit - 构造`HoodieIncrementalFileSplit`读取增量数据 ```scala // Spark增量查询示例 spark.read.format("hudi") .option(QUERY_TYPE_OPT_KEY, QUERY_TYPE_INCREMENTAL_OPT_VAL) .load(tablePath) ``` --- ### 三、核心设计思想 1. **时间轴（Timeline）** - 基于日志序列（`.hoodie/*.commit`）实现ACID语义 - 支持`COMMIT`、`DELTA_COMMIT`、`COMPACTION`等操作类型 2. **文件组织** - **COW（Copy-on-Write）表**：直接更新Parquet文件 - **MOR（Merge-on-Read）表**：Base文件 + Avro日志文件（减少写放大） 3. **索引机制** - **全局索引**：跨分区更新（通过HBase或自定义索引实现） - **本地索引**：仅当前分区内查找（性能更高） --- ### 四、学习Hudi源码的建议路径 1. **从测试用例入手** - 模块`hudi-client/src/test`包含大量写入/查询场景测试 2. **调试关键流程** - 本地运行`TestHoodieClientBase`或`TestHoodieSparkSqlWriter` 3. **深入存储格式** - 分析`HoodieParquetWriter`和`HoodieLogFormat`的实现 --- ### 五、常见问题定位 - **数据重复问题**：检查索引实现（是否启用全局索引） - **写入性能瓶颈**：调整文件大小（`hoodie.parquet.max.file.size`）或压缩策略 - **元数据冲突**：检查时间戳生成逻辑（`HoodieActiveTimeline#createNewCommitTime`） 通过理解Hudi的模块化设计和核心流程，开发者可快速定位问题或进行二次开发扩展（如支持新的计算引擎）。
评论 81
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值