Hudi 如何运行 MOR 表的压缩?
官方译文:
-
运行MOR表的压缩最简单的方法是在内联模式下运行压缩,以花费更多时间进行摄入;这在常见情况下特别有用,即您有少量滞后数据流入旧分区。在这种情况下,您可能希望在等待足够的日志积累到旧分区时,仅对最后N个分区进行积极压缩。其最终效果是将大部分最近的数据转换为更有可能被查询的优化列格式。
-
尽管如此,出于不阻塞摄入操作的明显原因,您可能还希望异步运行压缩。这可以通过由工作流调度程序/笔记本独立调度的单独压缩作业来完成。如果您正在使用Delta Streamer,则可以在连续模式下运行,其中摄入和压缩都在单个Spark运行时并行管理。
Hudi官方原文链接:https://hudi.apache.org/cn/docs/faq_table_services