本文详细介绍了Yarn架构的组件，包括ResourceManager、ApplicationMaster和NodeManager，以及Container的角色。阐述了Yarn上运行MapReduce任务的交互过程。接着深入探讨了Flink在Yarn上的PerJob和Session两种模式，解释了各自的特点和资源管理方式。PerJob模式中，任务完成后资源会释放，而Session模式则允许资源复用，适用于多个Job的连续执行。
Yarn 架构原理 - 总览
image.png
Yarn 架构原理- 组件
Yarn 集群中的组件包括：
● ResourceManager (RM)：ResourceManager (RM) 负责处理客户端请求、启动/ 监控 ApplicationMaster、监控 NodeManager、资源的分配与调度，包含 Scheduler 和 Applications Manager。
● ApplicationMaster (AM)：ApplicationMaster (AM) 运行在 Slave 上，负责数据切分、申请资源和分配、任务监控和容错。
● NodeManager (NM)：NodeManager (NM) 运行在 Slave 上，用于单节点资源管理、AM/RM 通信以及汇报状态。
● Container：Container 负责对资源进行抽象，包括内存、CPU、磁盘，网络等资源。
最低0.47元/天 解锁文章
扫一扫
980
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
