角色名称
client,ResourceManager、NodeManager、ApplicationMaster和Container
角色作用
Client:面向用户提交的Driver代码,作为用户编程的接口,与ResourceManager交互。
ResourceManager:整个集群只有一个是存活(active)的,负责集群资源的统一管理和调度
- 负责整个集群的资源分配和调度
- 处理来自客户端的请求,启动、杀死应用程序
- 启动、监控ApplicationMaster,一旦一个AM挂了之后,RM将会在另一个NodeManager上启动该AM
- 监控NodeManager,接收NM的心跳汇报信息,获取NM的资源使用情况和Container运行状态
NodeManager:整个集群中有多个,负责单节点资源管理和使用。
负责单个节点上的资源管理和任务调度
处理来自ApplicationMaster的命令
接收并处理来自ResourceManager的Container启动、停止的各种命令
周期性向ResourceManager汇报本节点上的资源使用情况和Container的运行状态
ApplicationMaster:每个应用程序特有,负责应用程序的管理
数据切分
为应用程序/作业向ResourceManager申请资源(Container),并分配给内部任务
与NodeManager通信以启动、停止任务
任务监控和容错(在任务执行失败时重新为该任务申请资源以重启任务)
处理ResourceManager发来的命令,让NodeManager重启任务、杀死Container等
Container:对任务运行环境的抽象
任务运行资源的抽象,封装了某个节点上的多维度资源,如内存、cpu、磁盘、网络等
任务命令启动、停止的执行单元
任务运行环境,任务运行在Container中,一个Container中既可以运行ApplicationMaster也可以运行具体的MapReduce、MPI、Spark等任务
角色关系
- 用户向YARN中提交应用程序/作业,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
- ResourceManager为作业分配第一个Container,并与对应的NodeManager通信,要求它在这个Container中启动该作业的ApplicationMaster。
- NodeManager启动一个Container运行ApplicationMaster。
- ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查询该作业的运行状态;然后它将为各个任务申请资源并监控任务的运行状态。
如果Container没有完全申请到位,则会先使用已经分配到位的部分Container资源进行后续的第5、6、7步骤,其余Container部分由ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源,直到全部资源分配到位。 - 一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。
- NodeManager执行ApplicationMaster发送的命令,启动Container任务。
7)各个Container通过RPC向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。
在作业运行过程中,用户可以随时通过RPC向ApplicationMaster查询作业当前运行状态。 - 作业完成后,ApplicationMaster向ResourceManager申请注销并关闭自己。