Yarn工作机制流程

在这里插入图片描述

  1. 客户端所在节点运行jar,创建YarnRunner
  2. YarnRunner向ResourceManager申请一个application。
  3. RM返回资源提交路径和任务ID。
  4. 客户端将相关资源提交到RM指定的路径+任务ID下,文件包括wc.jar,job.xml,job.split。
  5. 客户端通知RM资源提交完毕,申请运行ApplicationMaster
  6. RM将客户端的请求初始化为一个task,并将task放入任务队列中。
  7. 一个较为空闲的NN通过与RM的心跳,从任务队列中领取了这个任务。
  8. RM为Application开启第一个Container,并要求NM在容器中开启AM
  9. AM将资源拷贝到本地。
  10. AM采用轮询的方式通过RPC调用向ResourceManager申请和领取资源。
  11. 一旦获取资源,AM就与对应NM取得联系并要求开启Container。
  12. NM为任务布置好环境之后,将启动命令写入启动脚本中,并通过脚本开启任务。
  13. AM等待所以MapTask运行完毕后,向RM申请资源,运行ReduceTask。
  14. ReduceTask向MapTask获取对应分区的数据。
  15. 任务完成后AM向RM申请注销自己。
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值