hudi系列-文件压缩（compaction）

已于 2022-08-23 09:31:23 修改
阅读量8k 收藏 3
点赞数
分类专栏： hudi系列 文章标签： hudi compact 压缩
于 2022-08-17 17:13:17 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/czmacd/article/details/126390291
版权
本文介绍了Hudi的压缩（compaction）在MergeOnRead表中的作用，详细阐述了压缩的触发策略、压缩策略选择以及压缩的异步、同步和离线方式。并详细展示了异步压缩的流程，包括生成压缩计划、执行压缩、检查压缩状态等步骤。
摘要由CSDN通过智能技术生成

1. 简介

压缩（compaction）仅作用于MergeOnRead类型表，MOR表每次增量提交（deltacommit）都会生成若干个日志文件（行存储的avro文件），为了避免读放大以及减少文件数量，需要配置合适的压缩策略将增量的log file合并到base file（parquet）中。

1.1 环境

  • flink 1.13.6
  • hudi 0.11.0

1.2 触发策略

提供4种触发策略，可通过hoodie.compact.inline.trigger.strategy / compaction.trigger.strategy​进行配置：

  • NUM_COMMITS：达到N次commit时触发压缩，默认的触发策略，默认值为5次，通过hoodie.compact.inline.max.delta.commits ​/ compaction.delta_commits配置
  • TIME_ELAPSED：自上次压缩以来经过的时间 > N 秒时触发压缩，通过hoodie.compact.inline.max.delta.seconds​ / compaction.delta_seconds​配置
  • NUM_AND_TIME
了解本专栏 订阅专栏 解锁全文 超级会员免费看
矛始
关注
专栏目录
订阅专栏
Hudi压缩(compaction)实现分析
ksmou的博客
08-07 675
Hudi 写 MergeOnRead 表时为提高流式写入速度，直接以 Avro 格式向文件系统中写入 log 文件，然后提供一种数据压缩的的方式对 log 文件进行压缩，如果合并计划中只含有 log 文件，则将 log 文件压缩成 parquet 文件，然后开始写新的 log 文件，如果合并计划同时包含 log 文件和 parquet 文件，则将两种格式的文件进行压缩生成新的 parquet 文件，然后开始写新的 log 文件，Hudi 将这种压缩方式称为 Compaction。
Hudi Compaction
chbxw
04-16 205
默认情况下，Hudi 压缩是异步执行的。分2步执行。
探索 Apache Hudi 核心概念 (3) - Compaction
Laurence的技术博客
04-10 1877
本文首发于Apache Hudi公众号。Compaction是MOR表的一项核心机制，Hudi利用Compaction将MOR表产生的Log File合并到新的Base File中。本文我们会通过Notebook介绍并演示Compaction的运行机制，帮助您理解其工作原理和相关配置。
Hudi小文件压缩
最新发布
m0_57320261的博客
03-07 1021
为了避免这种情况的发生，flink离线压缩hudi表每次只压缩一个commit，这样可以保证每个commit的数据都被完整地压缩，同时也减小了故障发生的概率，提高了数据的可靠性。此外，这种方式还可以实现增量压缩，只压缩新增或者修改的数据，而不需要重新压缩整个数据集，可以提高压缩效率。当我们压缩多个commit时，会先将这些commit的数据合并到一个新的commit里面，然后再进行压缩，但是如果在合并的过程中发生了故障，就有可能导致合并后的数据丢失，这样就会导致数据不完整或者出现错误。
Apache hudi 0.10.1学习笔记之压缩Compaction(上篇)——压缩计划的生成
ImStarBoy的博客
04-19 5547
hudi 学习--压缩计划生成
【Apache Hudi】一种基于增量日志文件数的压缩策略
苏苏爱自由
09-21 933
Hudi 提供了一种新的表类型：MOR 表。该表在每次的 upsert 操作时，并不会实时的和基础数据文件进行合并，而是生成新的增量日志文件，而增量文件和基础文件的合并就叫做压缩（compaction）。所以当一个读操作读取 MOR 表时，此时会读取该表的基础数据文件和所有的增量日志文件，然后进行一个合并操作（比如根据主键聚合取更新时间最新的那条数据），最后将合并后的结果返回给终端。
hudi实战-- hudi on flink 参数配置大全
阿华田的博客
01-05 1021
1.设置单个主键2.设置联合主键。
hdfs小文件处理-hive-spark-flink-hudi-iceberg
someInNeed的博客
02-23 338
提前规避 1.流式写入 调整流式写入的时间窗口是一个不错的选择，如果业务对实时性要求很高，那么可以根据数据类型（非结构化vs结构化）、append/update频率和数据使用模式（随机读取vs聚合），HBase和Kudu是存储层的更好选择。对于已经存在的小文件，也可以设置定期的Job对这些文件进行压缩、合并，以减少文件量和文件数量。 2.过度分区表 在决定分区的粒度时，要考虑到每个分区的数据量。为有大文件的分区做计划（用Parquet的话，约256MB或更大），即使这意味着有较少的粒度分..
Flink Hudi 测试
L, there!
09-30 1399
组件版本 组件 版本 Java 1.8.251 Scala 1.12.14 Flink 1.12.2 hudi 0.9.0 Hadoop 2.9.2 Hive 2.3.6 将hdfs-site.xml，core
Apache hudi 0.10.1学习笔记之压缩Compaction(下篇)——执行压缩计划
ImStarBoy的博客
04-20 4269
之前的压缩计划生成后，被保存在basePath/.hoodie下的instanttime.compaction.request文件里。 现在可以继续从执行压缩计划的角度进行。同样使用compactor类来提交spark作业，参数里可以带压缩计划对应的instantTime，也可以不带，不带的话则是找到时间最早对应的压缩计划。本文还是以MOR表，经手动异步压缩作为开始。 执行压缩计划部分，需要提前了解下该过程涉及的封装类，例如 RunCompactionActionExecutor、各种...
Apache Hudi初探(十)(与spark的结合)--hudi的Compaction操作
monkeyboy_tech的博客
07-22 537
这步操作主要是把生成的Compaction plan序列化成字节，并保存在相应的文件中，并生成一个Compaction的Request。baseFile，partitionPath，logFiles，还有Compaction策略。该方法主要是生成一个调度Compaction的计划。执行当前Commit的compaction操作。重新运行上次失败的Compaction计划。是够是异步Compaction计划生成。中，我们没有过多的解释Spark中。的实现，在这里详细说一下。
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 1936
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
大数据hudi之集成flink:离线 Compaction
weixin_43597208的博客
09-06 468
MOR 表的 compaction 默认是自动打开的，策略是 5 个 commits 执行一次压缩。 因为压缩操作比较耗费内存，和写流程放在同一个 pipeline，在数据量比较大的时候（10w+/s qps），容易干扰写流程，此时采用离线定时任务的方式执行 compaction 任务更稳定。
Hudi async/inline compaction
m0_59263036的博客
08-12 885
hudi compaction分析
【数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化】
weixin_38136584的博客
01-12 775
数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化
Apache Hudi异步Compaction部署方式汇总
xleesf
09-15 1186
本篇文章对执行异步Compaction的不同部署模型一探究竟。 1. Compaction 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 2. 异步Compaction 异步Compaction会进行如下两个步骤 调度Compaction：由摄取作业完成，在这一步，Hudi扫描分区
Hudi系列21:离线Compaction
只是甲的博客
05-18 760
hudi
Hudi（20）：Hudi集成Flink之可以离线进行的操作
yang_shibiao的博客
02-07 1537
因为压缩操作比较耗费内存，和写流程放在同一个 pipeline，在数据量比较大的时候（10w+/s qps），容易干扰写流程，此时采用离线定时任务的方式执行 compaction 任务更稳定。的操作，当写流程还在持续写入表数据的时候，开启这个参数有丢失查询数据的风险，所以开启该参数一定要保证当前没有任务往表里写数据。的操作，当写流程还在持续写入表数据的时候，开启这个参数有丢失查询数据的风险，所以开启该参数一定要保证当前没有任务往表里写数据。执行压缩任务的顺序，默认是从最新的压缩。模式下的执行间隔，默认。
使用hudi-hive-sync 将hudi同步到hive
05-17
Hudi提供了一个hudi-hive-sync工具，可以将Hudi表同步到Hive表中。 以下是将Hudi表同步到Hive表的步骤： 1. 确保您已经安装了Hive和Hadoop，并且已经配置了它们。 2. 使用Hudi创建一个表。可以使用以下命令： ``...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值