大数据原理与技术（七）：资源管理系统YARN

Hadoop使用Apache Hadoop YARN（Yet Another Resource Negotiator）作为通用资源管理系统，可为上层应用提供统一的资源管理和调度。除了MapReduce，YARN还可以支持其他编程计算框架，如Spark、Storm等，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了诸多好处。

一、YARN的概述与应用

1.YARN的定义

Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调器）是一种新的Hadoop资源管理器，它可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了诸多好处。

2.YARN的特点

使用YARN作为资源管理调度系统具有以下优点：

• 资源利用率高。在使用YARN作为资源管理系统之前，往往是一个集群运行一种计算框架，一个企业可能存在多个集群。各集群之间的负载很不平均，繁忙集群的负载无法分发到空闲的集群上，导致了计算资源的浪费。YARN实现“一个集群多个框架”，可以统一调度群内的计算资源，这就大大提高了资源利用率。
• 运维成本低。管理员仅需要管理一个集群，大大降低了运维成本。
• 数据共享方便。不同的计算框架有时候肯需要处理同样的数据，存在不同集群时，要实现数据共享比较麻烦，也会造成及集群间大量的数据传输开销。使用YARN做资源管理，可以在同个集群内部署不同的计算框架，实现了不同的计算框架的数据共享。

3.YARN的应用场景

在企业实际的生产环境中，同时存在不同的业务应用场景，对于计算的要求各有不同，常常需要应用多个计算框架来满足企业的需求。如用MapReduce做大规模数据的批处理离线计算，用Storm实现流数据的实时分析。由于Hadoop1.0时没有统一的资源管理平台，为了避免不同类型应用之间发生资源抢占冲突，往往需要在企业内部建立多个集群，在不同集群内运行不同的计算框架。不同集群之间无法直接共享数据，资源利用率低，多个集群大大增加了管理人员的运维工作。
针对Hadoop1.0本身的局限性及企业内计算资源统一管理的需求，Hadoop2.0对自身架构做了改良。Hadoop2.0推出来资源管理调度系统YARN（Yet Another Resource Negotiator，另一种资源协调器），YARN可以支持MapReduce以及Spark、storm等计算框架，实现了“一个集群多个框架”。

二、YARN架构设计思路