Yarn工作执行流程

(job的提交):

  1. 客户端向resourcemanager提交job请求,申请资源。
  2. Resourcemanager向客户端返回一个job_id以及共享资源路径hdfs/tmp
  3. 客户端将共享资源放在共享资源路径下(job.jar,job.xml,job.xml)。
  4. 客户端向resourcemanager返回共享资源放置成功的响应,真正提交应用程序。
  5. Resourcemanager向客户端返回一个节点,运行MRAppMaster。
  6. Resourcemanager到对应节点启动MRAppMaster,先启动container后启动MRAppMaster。
  7. MRAppMaster会将这个job进行初始化,生成application_id,并生成当前job的工作簿,记录maptask和reducetask的进度和状态。
  8. MRAppMaster到共享资源下下载共享资源到本地。
  9. MRAppMaster向resourcemanager申请maptask和reducetask运行的资源,优先maptask。
  10. Resourcemanager向MRAppMaster返回对应的资源节点,maptask,数据的本地化;reducetask,随机。
  11. MRAppMaster到对应的节点启动maptask(先启动container)。
  12. Maptask会到共享资源路径下载共享资源。
  13. 开始运行maptask任务。
  14. Maptask在运行过程中向MRAppMaster汇报自己的进度和状态。
  15. 当MRAppMaster获取到一个节点上的所有maptask任务完成,启动reducetask。
  16. MRAppMaster到对应的节点启动container启动reducetask。
  17. Reducetask到共享资源路径下下载共享资源。
  18. 所有的maptask执行完成,fetch完成,reducetask执行。
  19. Reducetask在运行期间向MRAppMaster汇报自己的进度和状态。
  20. 当maptask和reducetask执行完成,MRAppMaster到对应的节点进行资源回收。
  21. 所有的maptask和reducetask运行完成MRAppMaster向resourcemanager注销自己,释放资源。
    在这里插入图片描述
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值