本文详细介绍了Flink在YARN上的工作提交流程，包括客户端请求、YARN创建容器启动Application Master，以及AM如何启动Job Manager。同时，文章探讨了Flink的三层图结构——StreamGraph、JobGraph和ExecutionGraph，阐述了它们在计算图生成过程中的作用，强调了资源管理和任务分配的关键角色。
flink on yarn工作提交流程
示意图
流程如下：
- Client向Dispatch而发起请求，Dispatch而向yarn提交job
- Yarn的NN创建一个container，启动Application Master（AM）
- ApplicationMaster在本地启动一个Resource Manager和Job Manager
- Job manager根据StreamGraph生成的ExecutionGraphy以及物理执行计划向Flink Resource Manager申请slot
- 如果没有足够的slot，那么Flink Resources Manager向Yarn Resource Manager申请Container
- 创建Container之后，Container向Flink Resource Manager和JobManager注册
- 注册之后Flink Resource manager分配slot，JobManager分配Task
几点分工注意：
- 集群资源掌控在yarn的老大NN中，但是flink的client不直接和yarn的NN打交道，而是通过Application Master（AM）中的Resources Manager获取资源
- AM中的Resource Manager（RM）负责向yarn申请资源（Container)，分配slot
- Job Manager向RM申请资源
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
