YARN设计理念与基本架构

设计思想

第一代和第二代MapReduce的差距在于，下一代将JobTracker的两个主要功能，资源管理和作业控制，拆分成两个独立的进程。资源管理进程与具体应用程序无关，且每个作业控制进程只负责管理一个作业。实现了将原有JobTracker中与应用程序相关和无关的模块分开，减轻了JobTracker负载，也使得Hadoop支持更多的计算框架。

下一代MapReduce实际上衍生出了一个资源统一管理平台YARN，使得Hadoop不止支持MapReduce，还可以融入其他更多计算框架。

基本架构

总体上仍是Master/Slave结构。
ResourceManager是master，负责资源统一管理和调度。用户提交一个应用程序时，需要提供一个用来跟踪和管理这个程序的ApplicationMaster，负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务。
NodeManager是slave。

ResourceManager(RM)

全局资源管理器，由两个组件构成：调度器Scheduler和应用程序管理器Aoolications Manager （ASM）。

调度器
负责资源分配，资源分配单位使用一个抽象概念”资源容器（Resource Container简称Container）表示，Container是一个动态资源分配单位，将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。
调度器是可插拔的，用户可以自定义

应用程序管理器
负责管理系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster，监控ApplicationMaster运行状态并在失败时重新启动它。

ApplicationMaster（AM）

用户提交的每个应用程序都包含有个AM，主要负责：

• 和RM调度器协商以获取资源（用Container表示）
• 将得到的任务进一步分配到内部的任务
• 与NN通信以启动、停止惹怒我
• 监控所有任务运行状态，在任务失败时重新申请资源以重启任务。

NodeManager（NM）

每个节点上的资源和任务管理器，定时向RM汇报本节点上的资源使用情况和各个Container的运行状态，也会接收和处理来自AM的Container启动、停止等各种请求。

Container

是YARN中的资源抽象， 封装了多维度资源比如CPU、内存、磁盘、网络等，AM向RM申请资源时，RM返回的就是Container表示的。
是一个动态资源划分单位，根据应用 程序的需求动态生成的。

工作流程

两阶段运行，第一阶段是启动ApplicationMaster，第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，监控它的整个运行流程直到运行完成。

步骤：

• 用户向YARN中提交应用程序，包括ApplicatonMaster程序、启动ApplicatonMaster的命令、用户程序等。
• RM为该用户程序分配第一个Container，并与对应的NM通信，要求它在这个Container中启动应用程序的AM
• AM向RM注册，这样用户就可以直接通过RM查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复后面的步骤
• AM采用轮询的方式通过RPC协议向RM申请和领取资源
• 一旦AM申请到资源，便与对应的NM通信，要求它启动任务
• NM为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。。
• 各个任务通过某个RPC协议向AM汇报自己的状态和进度，以让AM随时掌握各个任务的运行状态，从而在任务失败时重新启动任务。
• 应用程序完成后，AM向RM注销并关闭自己。