Hadoop-2.2.0学习之三YARN简介

49 篇文章 22 订阅 ¥9.90 ¥99.00
29 篇文章 18 订阅 ¥9.90 ¥99.00
YARN是MapReduce在Hadoop-2.2.0中的进化,将JobTracker的资源管理和作业调度分离,形成ResourceManager和ApplicationMaster。ResourceManager是全局资源协调者,ApplicationMaster负责协调资源执行任务,NodeManager监控节点资源。调度器根据资源需求公平分配资源,支持CapacityScheduler和FairScheduler等策略。YARN保持与旧版API兼容,MapReduce作业无需修改即可运行。
摘要由CSDN通过智能技术生成

MapReduce在hadoop-0.23版本中进行了完全的检查修改,并发展为了现在称之为的MapReduce2.0(MRv2)或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程,目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的ApplicationMaster (AM)。一个应用程序或者是从经典MapReduce作业角度来看的一个单独作业,或者是这种作业的一个有向无环图(DAG)

ResourceManager和从节点的NodeManager(NM)组成了数据计算框架,ResourceManager是协调系统中所有应用程序之间资源的最终权威。事实上,ApplicationMaster是框架特定的类库,任务是从ResourceManager协调资源以及同NodeManager一起工作进行任务的执行和监控。下图为YARN的架构示意图。


ResourceManager有两个主要的组件:调度器(Scheduler)和应用程序管理器(ApplicationsManager)。

调度器负责在各种运行的,受制于计算机容量、队列等约束条件的应用程序之间

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值