YARN概述

一 YARN概述：

(1)MapReduce的局限：

*扩展性差：JobTracker同时具备资源管理和作业控制两个功能，这往往成为系统的一个最大瓶颈，严重制约了Hadoop集群扩展性。

*可靠性差：master存在单点故障问题，一旦故障，整个集群不可用。

*资源利用率低：MapReduce采用基于槽位(slot)。槽位是一种粗粒度的资源划分单元，通常一个任务不会用完槽位对应的资源，且其它任务也无法使用这些空闲资源。此外，Hadoop将槽位分为Map slot和Reduce slot两种，且不允许它们之间共享，这会导致一种槽位资源紧张和另外一种闲置的情况出现(例如：初始时只会运行Map Task，此时Reduce slot闲置)。

*无法支持多种计算框架：随着互联网发展，MapReduce这种基于磁盘的离线计算框架已经不能满足应用要求，从而出现一些新的框架，包括内存计算框架、流式计算框架和迭代式计算框架等。

(2)YARN的优点：

*YARN实际上是一个资源统一管理平台，目标不在局限于支持MapReduce一种计算框架，而是朝着对多种框架进行统一管理的方向发展(即共享集群)。

*相对于“一个计算框架一个集群”的模式，共享集群的好处：资源利用率高(通过多种框架共享资源，使得集群中的资源得到充分利用)；运维成本低；数据共享(让多种框架可以共享数据和硬件资源，减少数据移动成本)。

*如果想要将一个新的应用程序运行在YARN上，通常需要编写两个组件：用户程序和ApplicationMaster，这两个组件编写非常复杂，尤其ApplicationMaster，需要考虑RPC、任务容错等细节。

二YARN框架：

(1)YARN的特点：

*将MapReduce的JobTracker分为两个独立的服务：一个全局资源管理器(ResourceManager)，负责整个系统的资源管理和分配；每个应用程序特有的ApplicationMaster，ApplicationMaster负责单个应用程序的管理。

*YARN总体上认识master/slave结构。在整个资源管理框架中，ResourceManager为master，NodeManager为slave，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。

(2)YARN基本组成结构：

*ResourceManager(调度器(Capacity Scheduler)和应用管理器(Applications Manager，ASM))：RM是一个全局资源管理器，负责整个系统的资源管理和分配，主要由调度器和应用管理器组成。调度器根据容量、队列等限制条件，将系统中的资源分配给正在运行的应用程序，是一个纯调度器，不负责任何与具体应用程序相关的工作。ASM负责管理整个系统中的所有应用程序，包括应用程序提交、与调度器协商资源以及启动AM、监控AM的状态并在失败时重新启动它等。

*NodeManager(NM)：每个节点上的资源和任务管理器。一方面，它会定时地向RM汇报本节点上的资源使用情况和各个container的运行状态；另一方面，它接收并处理来自AM的任务启动/停止等各种请求。

*ApplicationMaster(AM)：用户提交的每个应用程序均包含一个AM，实际上是一个简化版的JobTracker，主要功能：与RM调度器协商获得资源；与NM通信以启动/停止任务；监控所有任务的运行状态，并在任务运行失败时重新为新任务申请资源以重启任务。

*Resource Container：是YARN中的资源分配单位，它封装了多维度的资源，如：内存、CPU、磁盘、网络等。当AM向RM申请资源是，RM为AM返回的资源便是以Container表示的。YARN中每个任务均会对应一个Container，且该任务只能在该Container中执行，并仅能使用该容器代表的资源量。注意：Container不同于MapReduce中的槽位(slot)，Container是一个动态资源划分单元，是根据应用程序需要动态生成的。