本文详细介绍了Flink在YARN上启动的完整流程，从YARN RM的ClientRMService接收应用提交请求，经过RMAppManager、ResourceScheduler，到AM的申请与启动，以及JobManager和TaskManager的资源配置与执行。过程中涉及到状态转换、资源调度、心跳机制和故障恢复策略等关键环节。
1.概述
-
YARN RM 中的 ClientRMService（为普通用户提供的 RPC 服务组件， 处理来自客户端的各种 RPC 请求，比如查询 YARN 集群信息，提交、终 止应用等）接收到应用提交请求，简单校验后将请求转交给 RMAppManager（YARN RM 内部管理应用生命周期的组件）；
-
RMAppManager 根据应用提交上下文内容创建初始状态为 NEW 的应 用，将应用状态持久化到 RM 状态存储服务（例如 ZooKeeper 集群，RM 状态存储服务用来保证 RM 重启、HA 切换或发生故障后集群应用能够正 常恢复，后续流程中的涉及状态存储时不再赘述），应用状态变为 NEW_ SAVING；
-
应用状态存储完成后，应用状态变为 SUBMITTED；RMAppManager 开始向 ResourceScheduler（YARN RM 可拔插资源调度器，YARN 自 带 三 种 调 度 器 FifoScheduler/FairScheduler/CapacityScheduler，其 中 Capaci
订阅专栏 解锁全文
扫一扫
206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
