Yarn:工作机制

1.客户端提交作业,在客户端上产生一个YarnRunner

2.YarnRunner向RM申请一个Application

3.RM返回一个Application的提交路劲,该路径在HDFS上

4.YarnRunner向该路径上传对应的资源,如JAR包,切片信息文件,配置xml

5.资源上传完毕YarnRunner向RM申请运行MRApplicationMaster

6.RM将这个任务请求初始化为一个Task,然后将Task放在FIFO调度队列中,该队列在一个RM节点的一个容器里

7.NodeManager领取到任务后

8.NM创建一个容器来运行MRApplicationMaster

9.MRAppMaster下载任务所需资源到本地

10.NM向RM申请运行MapTask任务的容器

11.NM创建容器

12.MRA品牌Master向容器中发送对应的启动脚本,待MapTask任务完成后将分区结果序列化磁盘

13.MRAPPMaster向RM申请运行ReduceTask

14.领取到任务的NodeManager申请运行容器

15.完成ReduceTask,RM释放对应的资源

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值