yarn工作流程

ResourceManager RM

NodeManager NM

ApplicationMaster AM

1、Mr程序提交到客户机所在的节点,会根据配置来决定是本地运行还是yran运行。

2、yarn运行的话,它会向RM发起请求,RM返回Job的工作目录和id

3、客户机把Job运行所需的资源提交上去,job.split  job.xml jar包

4、资源提交完毕后,客户机向RM发起运行的请求AM的请求

5、RM会把请求初始化成一个Task,放入调度队列中

6、NM领取任务,创建容器,运行AM,下载job资源

7、AM根据job资源,来决定开几个MapTask,向RM申请,排队

8、NM领取MapTask任务,创建容器,AM发送启动脚本运行,运行结束生成分区数据文件和index文件

9、AM向RM申请ReduceTask任务,调度队列排队

10、NM领取ReduceTask任务,创建容器,运行ReduceTask,向Map获取对应分区的数据并运行reduce

11、程序运行结束,AM向RM注销

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值