向YARN提交作业工作流程

在这里插入图片描述
1.MapReduce程序提交到客户端节点
2.客户端节点向RM申请ApplicationMaster,(每一个任务都会对应一个ApplicationMaster,这个ApplicationMaster负责后续任务的运行),RM告知客户端资源上传路径,这里上传资源到HDFS是因为要运行的程序需要共享到其它节点,而HDFS上的资源是可以被节点共享的。
3.客户端将资源上传至目标路径。
4.资源提交完毕后,客户端申请RM运行ApplicationMaster。
5.RM将运行ApplicationMaster申请初始化为一个Task,放入待运行任务队列中。
6.轮到当前任务执行时,RM会在一个节点上启动一个Container来运行ApplicationMaster。
7.ApplicationMaster会把当前任务的资源从HDFS中拉取下来。
8.ApplicationMaster根据任务向RM申请若干个Container来运行若干个MapTask。
9.当MapTask执行完毕后,ApplicationMaster根据任务向RM申请若干个Container来运行若干个ReduceTask。
10.当整个程序运行完毕后,ApplicationMaster会向RM申请注销自己。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值