流式数据湖平台Hudi核心概念四：文件布局

已于 2024-04-15 14:44:21 修改
阅读量156 收藏
点赞数
分类专栏： 数据湖Hudi 文章标签： 大数据 数据仓库
于 2023-11-09 11:34:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134307932
版权
本文详细介绍了Hudi表的文件存储结构，包括元数据和数据两大部分。元数据存储在.hoodie目录下，记录表的版本管理和归档信息。数据以分区形式存放，每个分区包含Base File和Log File。Hudi采用多版本并发控制，通过compaction和clean操作管理文件片，并利用BloomFilter和LogBlock优化数据读取和过滤。
摘要由CSDN通过智能技术生成

1. Hudi表文件存储结构

Hudi将一个表映射为如下文件结构

Hudi存储分为两个部分：元数据和数据

2. 元数据存储

元数据：.hoodie目录对应着表的元数据信息，包括表的版本管理（Timeline

了解本专栏 订阅专栏 解锁全文 超级会员免费看
shangjg3
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hudi系列-文件布局（file layout）
1032851561的博客
02-16 1603
hudi的文件布局是能实现增量查询、数据更新等特性的基础，每个hudi表有一个固定的目录，存放元数据(.hoodie)以及数据文件，其中数据文件可以以分区方式进行划分，每个分区有多个数据文件(基础文件和日志文件)，这些数据文件在逻辑上被组织为文件组、文件分片上面的示例中，2023-02-15这个分区下有一个文件组，文件中组中有3个文件切片，其中一个只有log文件，一个只有base文件。
Hudi学习四：Hudi架构
NC_NE的博客
05-28 3449
Hudi架构
【Hudi】基础概念-数据写
最新发布
weixin_45746689的博客
06-19 531
（3）对于 update 消息，会直接找到对应 key 所在的最新 FileSlice 的 base 文件，并做 merge 后写新的 base file (新的 FileSlice)(3) 如果log file可索引，并且有写的FileSlice，尝试追加或写最新的log file;(3) 如果有小的base file文件，merge base file,生成新的FileSlice+base file，否则直接写新的 FileSlice + base file。根据最新记录的数据创建新的文件组。
探索 Apache Hudi 核心概念 (1) - File Layouts ( 文件布局 )
Laurence的技术博客
03-27 996
本文首发于Apache Hudi公众号。以往介绍Apcache Hudi的文章对核心概念的解读大多引用官方文档中的概念图，但是，抽象概念与实际运行状况还是有不少差异的，很多学习和使用Hudi的开发者都曾尝试过：将文档中的概念和Hudi的实际运行状况结合起来推导每个动作背后的逻辑是什么。本文利用Notebook良好的交互能力，设计一系列有针对性的操作，让这些操作去触发Hudi的某些机制，然后观察Hudi数据集的状态（包括元数据和存储文件），再结合对Hudi相关概念的介绍，解读这些行为。
Hudi的核心概念 —— 文件布局（File Layout）
weixin_45417821的博客
01-09 1351
（1）元数据：.hoodie 目录对应着表的元数据信息，包括表的版本管理（Timeline）、归档目录（存放过时的 instant 也就是版本），一个 instant 记录了一次提交（commit）的行为、时间戳和状态，Hudi 以时间轴的形式维护了在数据集上执行的所有操作的元数据；（2）多个日志文件(.log.*)，这些日志文件包含自生成基本文件以来对基本文件的插入/更新（COW 没有）（2）clean 操作：清除不使用的/旧的文件片以回收文件系统上的空间。Hudi 将一个表映射为如下文件结构。
大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006
添柴程序猿的专栏
10-18 1105
先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格式的,元数据里面就包含了一个的instant 时刻对吧用来做timeline用的.
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 1865
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
01-27
Apache Hudi是由Uber工程师设计的数据湖解决方案，针对其内部数据分析需求。Hudi的主要亮点在于它提供了快速的upsert和delete操作，以及数据压缩（compaction）功能，这恰好解决了许多用户在处理大规模数据时遇到的...
数据湖存储格式Hudi原理与实践.pdf
10-03
数据湖存储格式Hudi原理与实践 数据湖存储格式Hudi原理与实践是当前大数据时代的热门话题。Hudi是一种基于Apache的数据湖存储格式，旨在解决数据湖存储的各种挑战，如数据管理复杂、实时性需求、半结构化数据处理等...
数据湖Hudi操作文档和实例代码
06-03
这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中...
数据湖架构开发Hudi 2022年
04-08
数据湖架构开发Hudi 内容包括： 1. hudi基础入门视频和资源 2. Hudi 应用进阶篇（Spark 集成）视频 3.Hudi 应用进阶篇（Flink 集成）视频 适用于所有从事大数据行业人员，从小白或相关知识提升 从数据湖相关基础...
「Apache Hudi系列」核心概念与架构设计总结
微信搜：import_bigdata，大数据领域硬核原创作者
02-08 1519
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜简介Apache Hudi依赖 HDFS 做底层的存储，所以可以支撑非常大规模的数据存储。同时基于下面两个原语，Hudi可以解决流...
【Hudi】Hudi 核心知识点详解（一）
书山有路，学海无涯。记录成长，追逐梦想
12-10 2664
在 Flink 实时流中，经常会通过 Flink CDC 插件读取 Mysql 数据，然后写入 Hudi 中。所以在执行上述操作时，需要了解 Hudi 的基本概念以及操作原理，这样在近实时往 Hudi 中写数据时，遇到报错问题，才能及时处理。
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 2654
数据湖浅析
数据湖-hudi概述
u011250186的博客
10-26 1282
数据湖-hudi概述
Apache Hudi 是如何维护小文件的
过往记忆大数据
08-04 772
Apache Hudi 是一种数据湖平台技术，它提供了构建和管理数据湖所需的几个功能。hudi 提供的一个关键特性是自我管理文件大小，这样用户就不需要担心手动维护表。拥有大量的小文件将使计...
查询时间降低60%！Apache Hudi 数据布局黑科技了解下
过往记忆大数据
02-25 732
1. 背景Apache Hudi将流处理带到大数据，相比传统批处理效率高一个数量级，提供了更新鲜的数据。在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件以改...
Hudi（一）基本介绍
Yuan_CSDF的博客
12-20 3773
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。Apache Hudi可以轻松地在任何云存储平台上使用。
数据湖技术解析：演进历程与核心概念
"该文档是关于数据湖技术的解析，涵盖了数据湖的概念、发展历程、架构以及相关的技术实践。文档中详细介绍了数据湖从2010年的提出，如何随着云计算的发展，特别是云存储的普及，逐渐演变为一种主流的数据存储和分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值