Hudi 如何运行 MOR 表的压缩?

Hudi 如何运行 MOR 表的压缩?

官方译文:
  • 运行MOR表的压缩最简单的方法是在内联模式下运行压缩,以花费更多时间进行摄入;这在常见情况下特别有用,即您有少量滞后数据流入旧分区。在这种情况下,您可能希望在等待足够的日志积累到旧分区时,仅对最后N个分区进行积极压缩。其最终效果是将大部分最近的数据转换为更有可能被查询的优化列格式。

  • 尽管如此,出于不阻塞摄入操作的明显原因,您可能还希望异步运行压缩。这可以通过由工作流调度程序/笔记本独立调度的单独压缩作业来完成。如果您正在使用Delta Streamer,则可以在连续模式下运行,其中摄入和压缩都在单个Spark运行时并行管理。

Hudi官方原文链接:https://hudi.apache.org/cn/docs/faq_table_services

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

公子乂

你的鼓励是我创作的大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值