yarn的架构设计

官网介绍

• YARN官网连接
  

概念介绍

• ResourceManager简称RM：

  对各个NM的资源进行统一的管理和调度
  将AM的资源请求分配空闲的Container
  主要有 Applications Manager 应用程序管理器，Scheduler 调度器组成

• Applications Manager：

  负责管理整的系统的所有应用程序，负责应用程序提交，调度器申请资源，启动监控AM的状态失败后重启等职责

• Scheduler：

  根据容量队列等限制条件，将系统的资源分配给正在运行的应用程序，资源的分配单位是Container
  不负责监控跟踪应用程序的状态，也不负责任务失败需要重启，只为应用程序分配系统Contatiner的资源

• NodeManager：

  简称NM是每个节点的资源和任务管理器。会定时像RM汇报本节点上资源使用情况以及Container的运行状况；接收处理来自 AM的container的启动停止等请求

• ApplicationMaster：简称AM：

  提交的应用程序都有一个AM，负责监控应用的状态以及失败重启
  负责向RM协调资源，并且与NM一起工作完task的执行和监控
  Container：yarn的一种抽象资源，(cpu,内存，磁盘，网络)，当AM像RM申请资源时，RM返回的资源就是Container，yarn会为每个任务分配一个Container，并且只能使用这定义好的资源

执行流程

1. client向YARN提交应用程序

2. RM为应用程序分配一个Container，并于NM通信，告诉它在Container中启动AplicationMaster

3.AplicationMaster向RM注册，然后发送为各个任务申请资源的请求，并监控task的运行状态直到结束

4. AplicationMaster采用轮询方式用过RPC协议向RM申请，领取资源

5. AplicationMaster申请到资源后，便于NM进行通讯，发送启动任务的请求

6. NM设置运行环境，在Container中启动task

7. 各个task通过RPC向AplicationMaster发送运行状况

8. task运行完成后，AplicationMaster向RM注销，并关闭自己

总结

总体来说YARN运行应用程序主要分2个阶段
1.启动AplicationMaster
2.创建应AplicationMaste，申请资源，监控运行状况直到结束