YARN面试题总结（大数据面试）

YARN概述

YARN 是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统。可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大优点。

YARN最初是为了修复MapReduce实现里的明显不足，并对可伸缩性（支持一万个节点和二十万个内核的集群）、可靠性和集群利用率进行了提升。YARN实现这些需求的方式是，把Job Tracker的两个主要功能（资源管理和作业调度/监控）分成了两个独立的服务程序——全局的资源管理（RM）和针对每一个应用的应用 Master（AM）。这样一个应用要么是传统意义上的MapReduce任务，要么是任务的有向无环图（DAG）。

YARN从某种那个意义上来说应该算做是一个云操作系统，它负责集群的资源管理。在操作系统之上能够开发各类的应用程序，比如批处理MapReduce、流式作业Storm以及实时型服务Storm等。这些应用能够同一时候利用Hadoop集群的计算能力和丰富的数据存储模型，共享同一个Hadoop 集群和驻留在集群上的数据。
此外，这些新的框架还能够利用YARN的资源管理器，提供新的应用管理器实现。

1、yarn的结构

yarn总体上是master/slave结构，主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件组成。

2.1 RM
RM 是一个全局的资源管理器，负责整个系统的资源管理和分配，它主要由两个部分组成：调度器（Scheduler）和应用程序管理器（Application Manager）。