前言
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
一、Yarn基础架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
- ResourceManager(RM)
- 处理客户端请求
- 监控NodeManager
- 启动监控ApplicationMaster
- 资源的分配与调度
- NodeManager(NM)主要作用
- 管理单个节点上的资源
- 处理来自ResourceManager的命令
- 处理来自ApplicationMaster的命令
- ApplicationMaster(AM)作用
- 为应用程序申请资源并分配给内部任务
- 任务的监控与容错
- container容器
- container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等
二、Yarn工作机制
(1) MR程序提交到客户端所在节点,通过main方法执行了waitForCompletion
方法后创建YarnRunner,YarnRunner向RM申请一个application资源
(2) RM返回给application资源的提交路径以及application_id
(3) YarnRunner提交job运行所需资源,包括该job所需切片的信息(job.split)、job在Hadoop集群中的参数配置信息(job.xml)和使用的jar包(wc.jar);这些资源文件需在job.submit()方法提交成功后才会在.staging
文件中生成(当然里面还包含crc校验文件的sucess标志文件)
(4) 资源提交完成后YarnRunner向RM申请运行mrAppMaster
(5) RM会在内部将用户的请求初始化一个Task,然后放入的任务队列里面等待执行
(6) 等到NodeManager空闲后领取到Task任务便创建container容器
(7) container容器在里面启动mrAppMaster
(8) container容器读取job资源,获取到了job切片信息,向RM申请MapTask容器用来执行Map任务
(9) 其他空闲NodeManager空闲后领取任务创建对应切片个数的container容器
(10)之后mrAppMaster发送程序脚本启动对应的Map任务,yarnChild即为Map任务进程
(11)当Map任务运行完成落磁盘之后,mrAppMaster会再次向RM申请执行ReduceTas