Yarn框架

基本组成

    YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。

• Client：面向用户提交的Driver代码，作为用户编程的接口，与ResourceManager交互。
• ResourceManager：整个集群只有一个是存活(active)的，负责集群资源的统一管理和调度

1. 负责整个集群的资源分配和调度
2. 处理来自客户端的请求，启动、杀死应用程序
3. 启动、监控ApplicationMaster，一旦一个AM挂了之后，RM将会在另一个NodeManager上启动该AM
4. 监控NodeManager，接收NM的心跳汇报信息，获取NM的资源使用情况和Container运行状态

• NodeManager：整个集群中有多个，负责单节点资源管理和使用。

1. 负责单个节点上的资源管理和任务调度
2. 处理来自ApplicationMaster的命令
3. 接收并处理来自ResourceManager的Container启动、停止的各种命令，主要是对ApplicationMaster相关的操作。
4. 周期性向ResourceManager汇报本节点上的资源使用情况和Container的运行状态

• ApplicationMaster：每个应用程序特有，负责应用程序的管理

1. 数据切分
2. 为应用程序/作业向ResourceManager申请资源(Container)，并分配给内部任务
3. 与NodeManager通信以启动、停止任务
4. 任务监控和容错(在任务执行失败时重新为该任务申请资源以重启任务)
5. 处理ResourceManager发来的命令，让NodeManager重启任务、杀死Container等

• Container：对任务运行环境的抽象

1. 任务运行资源的抽象，封装了某个节点上的多维度资源，如内存、cpu、磁盘、网络等
2. 任务命令启动、停止的执行单元
3. 任务运行环境，任务运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的MapReduce、MPI、Spark等任务

运行流程 

 

 1、用户向YARN中提交应用程序/作业，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

2、ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Container中启动该作业的ApplicationMaster。

3、NodeManager启动一个Container运行ApplicationMaster。

4、ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询该作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态。

5、 一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。

6、 NodeManager执行ApplicationMaster发送的命令，启动Container任务。

7、各个Container通过RPC向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在作业运行过程中，用户可以随时通过RPC向ApplicationMaster查询作业当前运行状态。

8、作业完成后，ApplicationMaster向ResourceManager申请注销并关闭自己。

 常用调度策略

FIFO Scheduler    先进先出	默认的队列内部调度器，只有一个队列，所有用户共享,简单好理解，无法控制用户的资源使用，造成集群的可用性很差。一般不在生产环境使用。
Capacity Scheduler   容器调度器	多用户、分队列、ACL控制、不支持抢占式，队列内部依然是FIFO,也可以采用Fair
Fair Scheduler  公平调度器	多用户、分队列、ACL控制、支持抢占式，队列内部不是FIFO，而是公平分配的方式