-
作业提交之YARN
作业提交全过程详解
(1)作业提交
第0步:client调用job,waitForCompletion方法,向整个集群提交MapReduce作业
第1步:client向RM申请一个作业id
第2步:ResourceManager给client返回该job资源的提交路径和作业id
第3步:client提交jar包,切片信息和配置文件到指定资源提交路径
第4步:client提交完资源后,向RM申请运行MRAppMaster
(2)作业初始化
第5步:当RM收到client的请求后,将该job添加到容量调度器中
第6步:某一个空闲的NM领取到该Job
第7步:该NM创建Container并产生MRAppmaster
第8步:下载client提交到资源到本地
(3)任务分配
第9步:MrAppMaster向RM申请运行多个maptask任务资源
第10步:RM将运行maptask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器
(4)任务运行
第11步:MRAppmaster向两个接受到任务的NodeManager发送程序启动脚本,将两个NodeManager分别启动maptask,maptask对数据分区排序
第12步:MrAppMaster等待所有maptask运行完毕后,向RM申请容器,运行reduce task
第13步:reduce task向maptask获取相应分区的数据
第14步:程序运行完毕后,MRAppMaster会向RM申请注销自己
(5)进度和状态的更新
YARN中任务将其进度和状态(包括counter)返回给应用管理器,客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新,展示给用户
(6)作业完成
除了向应用管理器请求作业调度外,客户端每5分钟都会调用waitForCompletion()来检查作业是否完成,时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置,作业完成之后,应用管理器和Container会清理作业状态,作业信息会被作业历史服务器存储以备之后用户核查 -
作业提交过程MapReduce
-
作业提交过程之读数据
- 作业提交过程之写数据