本文介绍了YARN在Hadoop 2.0中的角色，作为资源管理和调度系统，其主从架构包括ResourceManager和NodeManager。详细阐述了MapReduce作业在YARN上的启动流程，涉及到ApplicationMaster、Container和双层调度机制。讨论了YARN的调度性能提升以及Spark on YARN的调度方式，指出其可以视为一种曲线救国的双层调度实现。
YARN 是 Hadoop 2.0 引入的统一资源管理和调度系统，也很具有代表性，目前 Spark on YARN 这种模式也在大量使用。
YARN 的架构是典型的主从架构，主节点是 ResourceManger，也是我们前面说的主调度器，所有的资源的空闲和使用情况都由 ResourceManager 管理。ResourceManager 也负责监控任务的执行，从节点是 NodeManager，主要负责管理 Container 生命周期，监控资源使用情况等 ，Container 是 YARN 的资源表示模型，Task 是计算框架的计算任务，会运行在 Container 中，ApplicationMaster 可以暂时认为是二级调度器，比较特殊的是它同样运行在 Container 中。
下图是YARN 启动一个 MapReduce 作业的流程
第 1 步：客户端向 ResourceManager 提交自己的应用，这里的应用就是指 MapReduce 作业。
第 2 步：ResourceManager 向 NodeManager 发出指令，为该应用启动第一个 Container，并在其中启动 ApplicationMaster。
第 3 步：ApplicationMaster 向 ResourceManager 注册。
第 4 步：ApplicationMaster 采用轮询的方式向 R
最低0.47元/天 解锁文章
扫一扫
1677
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
