本文介绍了Apache Flink的三种调度模式：Eager、分阶段调度（LAZY_FROM_SOURCES）以及分阶段Slot重用调度（LAZY_FROM_SOURCES_WITH_BATCH_SLOT_REQUEST）。Eager模式适用于流计算，一次性申请所有资源；分阶段调度适用于批处理，按阶段申请资源；而分阶段Slot重用调度则在资源不足时也能执行批处理作业，但需避免Shuffle行为。此外，文章还探讨了两种调度策略的区别及适用场景。
文章目录
1.世界
2.概述
调度模式包含 3 种： Eager 模式、分阶段模式（Lazy_From_Source）、分阶段Slot 重用模式（Lazy_From_Sources_With_Batch_Slot_Request）。
2.1 Eager 调度
适用于流计算。一次性申请需要的所有资源，如果资源不足，则作业启动失败。
2.2 分阶段调度
LAZY_FROM_SOURCES 适用于批处理。从 SourceTask 开始分阶段调度，申请资源的时候，一次性申请本阶段所需要的所有资源。上游 Task 执行完毕后开始调度执行下游的 Task，读取上游的数据，执行本阶段的计算任务，执行完毕之后，调度后一个阶段的Task，依次进行调度，直到作业完成。
订阅专栏 解锁全文
扫一扫
348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
