Hudi系列3:Hudi核心概念

最新推荐文章于 2023-10-18 16:56:36 发布
最新推荐文章于 2023-10-18 16:56:36 发布
阅读量932 收藏 2
点赞数 1
分类专栏： 大数据和数据仓库 # 数据湖 文章标签： 数据库 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/128640230
版权

文章目录

Hudi架构

image.png

一. 时间轴(TimeLine)

1.1 时间轴(TimeLine)概念

Hudi的核心是维护在不同时刻（Instant）在表上执行的所有操作的时间轴，提供表的即时视图，同时还有效地支持按时间顺序检索数据
image.png

1.2 Hudi的时间线由组成

Instant action:
在表上执行的操作类型

Instant time:
即时时间，通常是一个时间戳，它按照action的开始时间单调递增

State:
时刻的当前状态

1.3 时间线上的Instant action操作类型

hudi保证在时间线上的操作都是基于即时时间的，两者的时间保持一致并且是原子性的

  1. commits: 表示将一批数据原子写入表中

  2. cleans: 清除表中不在需要的旧版本文件的后台活动。

  3. delta_commit:增量提交是指将一批数据原子性写入MergeOnRead类型的表中，其中部分或者所有数据可以写入增量日志中。

  4. compaction: 协调hudi中差异数据结构的后台活动，例如：将更新从基于行的日志文件变成列格式。在内部，压缩的表现为时间轴上的特殊提交。

  5. rollback:表示提交操作不成功且已经回滚，会删除在写入过程中产生的数据

  6. savepoint:将某些文件标记为“已保存”，以便清理程序时不会被清楚。在需要数据恢复的情况下，有助于将数据集还原到时间轴上某个点。

1.4 时间线上State状态类型

任何给定的瞬间都可以处于以下状态之一

  1. requested:表示一个动作已被安排，但尚未启动

  2. inflight:表是当前正在执行操作

  3. completed:表是在时间线上完成了操作

1.5 时间线官网实例

image.png

上图中采用时间（小时）作为分区字段，从 10:00 开始陆续产生各种 commits，10:20 来了一条 9:00 的数据，该数据仍然可以落到 9:00 对应的分区，通过 timeline 直接消费 10:00 之后的增量更新（只消费有新 commits的 group），那么这条延迟的数据仍然可以被消费到，(没有说明白它是怎么处理延迟数据的)

二. 文件布局

Hudi将一个表映射为如下文件结构:
image.png

  1. Hudi将HDFS上的数据集组织到基本路径（HoodieWriteConfig.BASEPATHPROP）下的目录结构中。

  2. 数据集分为多个分区（DataSourceOptions.PARTITIONPATHFIELDOPT_KEY），这些分区与Hive表非常相似，是包含该分区的数据文件的文件夹。

  3. 数据集分为多个分区（DataSourceOptions.PARTITIONPATHFIELDOPT_KEY），这些分区与Hive表非常相似，是包含该分区的数据文件的文件夹。

image.png

  1. Hudi将数据表组织成分布式文件基本路径(basepath)下的目录结构。

  2. 表被划分为多个分区，这些分区是包含该分区的数据文件的文件夹，非常类似于Hive表

  3. 在每个分区中，文件被组织成文件组，由文件ID唯一标识

  4. 每个文件组包含几个文件片(FileSlice)

  5. 每个文件包含:
    5.1) 一个基本文件(.parquet)： 在某个commit/compaction 即时时间(instant time)生成的(MOR可能没有)
    5.2) 多个日志文件(.log*),这些日志文件包含自生成基本文件以来对基本文件的插入/更新(COW没有).

  6. Hudi采用了多版本并发控制(Multiversion Concurrency Control,MVCC)
    6.1) compaction 操作: 合并日志和基本文件以产生新的文件片
    6.2) clean操作: 清楚不使用的/旧的文件以回收文件系统上的空间

  7. Hudi的base file(parquet 文件)在 footer 的 meta 去记录了 record key组成的BloomFilter，用于在flie based index 的实现中实现高效率的 key contains 检测。 只有不在 BloomFilter的key才需要扫描整个文件消灭假阳。

  8. Hudi的log(avro 文件)是自己编码的，通过积攒数据 buffer 以LogBlock为单位写出，每个LogBlock包含 magic number、size、content、footer等信息，用于数据读、校验和过滤。

三. 索引

3.1 简介

Hudi 通过索引机制将给定的 hoodie 键（记录键 + 分区路径）一致地映射到文件 id，从而提供高效的 upsert。记录键和文件组/文件 id 之间的这种映射，一旦记录的第一个版本被写入文件，就永远不会改变。简而言之，映射文件组包含一组记录的所有版本（类似git）。

3.2 对比Hive没有索引的区别

对于Copy-On-Write 表，这可以实现快速 upsert/delete 操作，避免需要连接整个数据集以确定要重写哪些文件。对于Merge-On-Read 表，这种设计允许 Hudi 绑定任何给定基本文件需要合并的记录数量。具体来说，给定的基本文件只需要针对作为该基本文件一部分的记录的更新进行合并。相反，没有索引组件的设计 Hive ACID需要将所有基本文件与所有传入的更新/删除记录合并
image.png

3.3 Hudi索引类型

image.png

3.4 全局索引与非全局索引

Bloom 和 simple index 都有全局选项，Base 索引本质上是一个全局索引

hoodie.index.type=GLOBAL_BLOOM
hoodie.index.type=GLOBAL_SIMPLE

  1. 全局索引：在全表的所有分区范围下强制要求键保持唯一，即确保对给定的键有且只有一个对应的记录。

  2. 非全局索引：仅在表的某一个分区内强制要求键保持唯一，它依靠写入器为同一个记录的更删提供一致的分区路。

四. 表类型

4.1 COW：(Copy on Write)写时复制表

4.1.1 概念

Copy on Write表中的文件切片仅包含基本列文件，并且每次提交都会生成新版本的基本文件。换句话说，每次提交操作都会被压缩，以便存储列式数据，因此Write Amplification写入放大非常高（即只有一个字节的数据被提交修改，我们也需要先copy改值所在的最小单位块复制到内存整体修改再写会去），而读取数据成本则没有增加，所以这种表适合于做分析工作，读取密集型的操作。

4.1.2 COW工作原理

image.png

当数据被写入，对现有文件组的更新会为该文件组生成一个带有提交即时间标记的新切片，而插入分配一个新文件组并写入该文件组第一个切片。这些切片和提交即时时间在上图用同一颜色标识。针对图上右侧sql查询，首先检查时间轴上的最新提交并过滤掉之前的旧数据（根据时间查询最新数据），如上图所示粉色数据在10:10被提交，第一次查询是在10:10之前，所以不会出现粉色数据，第二次查询时间在10:10之后，可以查询到粉色数据（以被提交的数据）。

4.1.3 COW表对表的管理方式改进点

  1. 在原有文件上进行自动更新数据，而不是重新刷新整个表/分区

  2. 能够只读取修改部分的数据，而不是浪费查询无效数据

  3. 严格控制文件大小来保证查询性能（小文件会显著降低查询性能）

4.2 MOR：(Merge on Read)读时复制表

4.2.1 概念

Merge on Read表使用列式存储（parquet）+行式文件（arvo）存储数据,它仍然支持只查询文件切片中的基本列(parquet)来对表进行查询优化。用户每次对表文件的upsert操作都会以增量写入delta log(avro)，增量日志会对应每个文件最新的ID来帮助用户完成快照查询。因此这种表类型，能够智能平衡读取和写放大（wa）,提供近乎实时的数据。这种表最重要的是合并压缩，它用来选择将对应delta log数据合并压缩到表的基本文件中，来保持查询时的性能（较大的增量日志文件会影响合并时间和查询时间）(通俗说就是你修改新增的值存在一个avro格式文件中，等你要查询的时候就好去和原有的值进行合并操作返回唯一值，不过MOR表会定期自动合并)

Merge on Read 读时合并
第一批数据，没有Parquet文件，写入到log文件
后期会compaction，执行合并的时候，将Parquet+log合并为新的
Parquet。(有点类似关系型数据库的WAL)

4.2.2 MOR表工作原理

image.png

  1. 如上图所示，可以做到每一分钟提交一次写入操作

  2. 查询表的方式有两种，Read Optimized query和Snapshot query,取决于我们选择是要查询性能还是数据最新

  3. 如上图所示，Read Optimized query查询不到10:05之后的数据（查询不到增量日志里的数据，没有合并到base文件），而Snapshot query则可以查询到全量数据（基本列数据+行式的增量日志数据）

4.3 总结了两种表类型之间的权衡

image.png

五. 查询类型

Hudi支持如下三种查询类型:

5.1 Snapshot Queries

image.png

5.2 Incremental Queries

增量查询，可以查询给定 commit/delta commit 即时操作以来新写入的数据。 有效的提供变更流来启用增量数据管道。

5.3 Read Optimized Query

读优化查询，可查看给定的 commit、compact 即时操作的表的最新的快照。 仅将最新文件片的基本/列文件暴露给查询，并保证与非Hudi表相同的列查询性能。

参考:

  1. https://hudi.apache.org/docs/overview/
  2. https://www.bilibili.com/video/BV1ue4y1i7na/
  3. https://blog.csdn.net/NC_NE/article/details/125019619
  4. https://yangshibiao.blog.csdn.net/article/details/123123624
只是甲
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hudi文档Hudi文档Hudi文档
03-17
Hudi文档Hudi文档Hudi文档
Hudi基础知识讲解
热门推荐
weixin_43114209的博客
07-12 1万+
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。
EMR-Hudi-Workshop:EMR Hudi工作坊内容
05-11
EMR-Hudi-Workshop EMR Hudi工作坊内容
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
hudi核心存储解析紫薯布丁
05-26
hudi核心存储解析紫薯布丁
探索 Apache Hudi 核心概念（系列文章）
Laurence的技术博客
04-17 317
本文由本人撰写并首发于Apache Hudi公众号，共计四篇文章。本系列文章使用 Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍，利用 Notebook 提供的统一环境和上下文，我们可以非常生动地观察到 Hudi 的运行机制，并深刻体会到其背后的控制原理，这也正是本系列文章的写作灵感：我们希望借助 Notebook“探索，发现，思考，领悟”的思维模式，带领大家开启一段 Hudi 核心概念的探索之旅。
数据湖---hudi核心概念
u013257767的博客
12-30 1100
正如您所看到的，一个旧的查询不会看到当前飞行中提交的文件以粉色编码，而是在提交后开始的一个新的查询会拾取新的数据。因此，查询不受任何写入失败/部分写入的影响，仅在提交的数据上运行。如果您当前的部署模型是单编写器，以及在同一进程中运行的异步表服务（如清理、集群、压缩），如Deltastremer连续模式写入MOR表、Spark流（默认情况下压缩是异步的），以及您自己的作业设置在同一编写器中启用异步表服务，则必须具有乐观的并发控制，在启用元数据表之前配置的锁提供程序和延迟失败写入清理策略如下。
Hudi Log 文件格式与读写流程
zhuzilong2013的博客
12-25 2638
Hudi Log 文件格式与读写流程 背景 对 Hudi 有一定了解的读者应该知道，Hudi 有 COW 和 MOR 两种表类型。其中的 MOR 表会通过日志文件记录文件，写入一个 MOR 表后产生的文件可以观察到，一个 MOR 表数据存储在3种文件中：Log File(.*log.*)，分区元数据(.hoodie_partition_metadata)，数据文件(.*parquet)。期间查阅了大量的相关资料，发现发现鲜有文章对 Log 日志数据文件的具体内容与结构做详细的介绍。原因之一可能是：虽然 Lo
hudi 数据湖笔记
m0_71551473的博客
10-31 508
hudi
大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006
最新发布
添柴程序猿的专栏
10-18 829
先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格式的,元数据里面就包含了一个的instant 时刻对吧用来做timeline用的.
spark_hudi_template:与Spark Hudi交往
04-14
Hive Hudi Local Spark 3.1演示 =============================== Hudi关于Spark 3.1的快速入门-本地版本 胡迪vs三角洲湖vs冰川
大数据面试题之hive
qq_45292079的博客
07-14 649
hql面试题 点击此处 以下为理论架构 Hive的架构 注：hive1.0、2.0默认引擎是mr，但hive3.0是tez Hive和数据库比较 查询语言 由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。 数据更新 由于Hive是针对数据仓库应用
数据湖技术之Hudi 核心概念
数字人生
09-27 602
Hudi数据湖框架的基本概念及表类型，属于Hudi框架设计原则和表的设计核心。文档：https://hudi.apache.org/docs/concepts.html。
HBase第五天——HBase三个重要机制
你怎么回事
10-12 280
HBase第五天——HBase 三个重要机制 自己的话：我愿平东海，身沉心不改； 大海无平期，我心无绝时。 HBase的数据flush、compact、split机制 一、数据 flush 过程（flush） 当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到硬盘，将内存中的数据删除，同时删除 HLog 中的历史数据； 并将数据存储到 HDFS 中； ...
【HuDi】B站增量数据湖探索与实践
m0_54252387的博客
08-05 1052
1. 背景众所周知，越实时的数据越有价值。直播、推荐、审核等领域中有越来越多的场景需要近实时的数据来进行数据分析。我们在探索和实践增量数据湖的过程中遇到许多痛点，如时效性、数据集成同步和批流一体的存储介质不统一的问题。本文将介绍我们针对这些痛点所进行的思考与实践方案。1.1 时效性痛点传统数仓以小时/天级分区，数据完整才可查。然而，一些用户并不需要数据完整，只需要最近的数据做一些趋势分析。因此，现状无法满足用户越来越强的数据时效性需求。传统数仓ETL上一个任务完成后，才能开始下一个任务。即使是小时分区，层级
「Apache Hudi系列」核心概念与架构设计总结
微信搜：import_bigdata，大数据领域硬核原创作者
02-08 1495
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜简介Apache Hudi依赖 HDFS 做底层的存储，所以可以支撑非常大规模的数据存储。同时基于下面两个原语，Hudi可以解决流...
Apache Hudi 数据湖概述
苏苏爱自由
04-02 2876
前言 介绍本文之前，先给大家说一些简单的大数据概念。在大数据体系中，我们常用的存储是 HDFS(Hadoop Distributed File System),常用的计算是 map-reduce、spark、flink。对于 HDFS（Hadoop Distributed File System）,是一个分布式的文件系统，数据平台的所有数据都存储在里面，最佳的使用实践是：一次写入，多次读取。所以大数据的计算基本上都是批处理计算（对有界的、确定数据范围的数据进行计算，不具备实时性），也就是 T-1 的计算，T
数据湖---hudi简介
u013257767的博客
12-29 617
提供表、事务、高效的upsert、delete，高级索引，流式注入服务，数据集群、压缩优化和并发，并将数据以开源的文件格式保存。Hudi的高级性能优化，使任何流行的查询引擎（包括Apache Spark、Flink、Presto、Trino、Hive等）的分析工作更快。Apache Hudi不仅非常适合流式工作负载，还允许您创建高效的增量批处理管道。Spark、Presto、Trino、Hive等的SQL读/写。Upserts，使用快速、可插入的索引进行删除。自动调整文件大小、数据聚类、压缩、清理。
Hudi：初识Hudi
啥也不会的博客
07-07 9812
是什么？ Hudi是什么？可以说Hudi是一个数据湖或是数据库，但它又不是数据湖或是数据库。笔者理解为Hudi是不带计算功能Hive。 众所周知，Hive是一个计算引擎，但是现在我们更多的是使用Spark基于Hive对HDFS中文件提供的Schema信息和元数据进行计算，而Hive作为计算引擎的功能逐渐被忽略，更多的是将Hive视作一个“数据库”（尽管它并不是），而Hudi则是完善了Hive的这部分功能。 使用Hudi对HDFS或是其他存储系统中的文件进行管理，使用Hudi创建相应的表，一样可以使用H
hudi building workload profile:
09-19
工作负载配置文件包含了一系列参数和选项，用于定义Hudi工作负载的行为和属性。其中一些重要的配置包括： 1. 数据存储：可以选择将数据存储在HDFS或云存储中，并指定相应的路径。 2. 数据表类型：可以选择使用Hudi...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值