MapReduce On yarn运行过程详解

YARN将资源管理和任务调度分离,由Resource Manager全局分配资源,Application Master负责节点调度。当客户端提交任务,Application Manager在DataNode上启动AppMaster,AppMaster向ResourceManager申请资源并协调Map和Reduce任务在NodeManager上执行。任务完成,AppMaster报告给Application Manager,资源回收。
摘要由CSDN通过智能技术生成
老的MapReduce主要包括Job Tracker和Task Tracker,YARN中主要是三个组件:Resource Manager、Node Manager和Application Master。Resource Manager负责全局资源分配,Application Master每个节点一个,负责当前节点的调度和协调。Node Manager是每台机器的代理,监控应用程序的资源使用情况,并汇报给Resource Manager。因此与老的MapReduce相比,YARN把资源管理与任务调度的工作分离开来,减少了MapReduce中Job Tracker的压力。
一:客户端向集群提交一个任务,该任务首先到ResourceManager中的ApplicationManager;
二:ApplicationManager收到任务之后,会在集群中找一个NodeManager,并在
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值