相关角色介绍
ResourceManager 资源作业管理者
Applications Manager 作业管理,是所有作业的老大,web界面信息从这里查询
Resource Scheduler 资源调度
NodeManager 节点者
ApplicationsMaster:某个job的老大,他来申请资源以及管理和监控整个作业生命周期,运行在Container上
Container:运行某个作业的全部或部分task
流程详解
1)用户向yarn rm apps manager提交作业(job),其中包括applicationMaster程序、、启动applicationMaster命令等。
2)RM为该job分配第一个容器,并与对应的NM通信,要求它运行这个容器并在这个容器中去启动该job的MR applicationMaster程序。
3)applicationMaster首先向Applications Manager注册,用户就可以直接在web界面查看job的整个运行状态和日志。
4)applicationMaster向Resource Scheduler 采用轮询的方式通过RPC协议去申请和领取资源列表
5)一旦applicationMaster申请到资源的后,便与对应的NM节点通信,要求启动任务。
6)NM为任务task设置好运行环境(环境变量、jar包等)ÿ