YARN工作机制

YARN工作机制

第一步 Client 向ResourceManage提交工作，并申请一个job ID

第二步 ResourceManage返回资源提交路径和job ID，每一个job都有一个唯一的ID

第三步 Client接受返回后，根据信息上传计算机所需要的资源到指定位置

第四步 Client上传完毕后向ResourceManage发送执行作业请求，ResourceManage根据请求创建ApplicationManager来管理此job。

第五步 新创建的ApplicationManager将 job 添加到ResourceSheduler（资源调度器）中

第六步 ResourceSheduler通知ApplicationManager有空闲Nodemanager可以用来执行job

第七步 ApplicationManager在Nodemanager中开辟容器，启动ApplicationMaster

第八步 ApplicationMaster获取HDFS上的文件并生成Task

第九步 ApplicationMaster向ResourceManage申请运行任务的资源

第十步 ResourceManage分配任务，Nodemanager创建用于执行任务的容器

第十一步 ApplicationMaster通知启动计算，Nodemanager启动计算

第十二步 继续申请执行后续task

第十三步 Job执行完毕，ApplicationMaster向ResourceManage申请注销