Hadoop-2.2.0学习之三YARN简介

最新推荐文章于 2022-08-17 08:47:08 发布

skyWalker_ONLY

最新推荐文章于 2022-08-17 08:47:08 发布

阅读量3.9k

点赞数

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.2.0 YARN 调度器 ResourceManager NodeManager

本文链接：https://blog.csdn.net/skywalker_only/article/details/18215919

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

YARN是MapReduce在Hadoop-2.2.0中的进化，将JobTracker的资源管理和作业调度分离，形成ResourceManager和ApplicationMaster。ResourceManager是全局资源协调者，ApplicationMaster负责协调资源执行任务，NodeManager监控节点资源。调度器根据资源需求公平分配资源，支持CapacityScheduler和FairScheduler等策略。YARN保持与旧版API兼容，MapReduce作业无需修改即可运行。

摘要由CSDN通过智能技术生成

MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的ApplicationMaster (AM)。一个应用程序或者是从经典MapReduce作业角度来看的一个单独作业，或者是这种作业的一个有向无环图（DAG）

ResourceManager和从节点的NodeManager(NM)组成了数据计算框架，ResourceManager是协调系统中所有应用程序之间资源的最终权威。事实上，ApplicationMaster是框架特定的类库，任务是从ResourceManager协调资源以及同NodeManager一起工作进行任务的执行和监控。下图为YARN的架构示意图。