Hadoop——Yarn

提到Hadoop大家最先想到的就是MapReduce（运算程序）和HDFS（文件管理系统），其实Hadoop还有一个极为重要的组件Yarn。

首先我们先看一下Yarn的基本结构图：

从图中看到Yarn的基本结构由：ResourceManager、NodeManager、AppMstr和Container四个组件组成。

Container

Container（容器）这个东西是Yarn对资源做的一层抽象。就像是我们平时对经常用的一些东西进行封装一样，只需要提供一个调用的接口，Yarn对资源的管理也应用到了这种思想。Yarn将CPU的核数和内存等计算资源封装成为一个个的Container。
注意：1、Container由NodeManager启动和管理，并被它所监控。
2、Container被ResourceManager进行调度。

三个重要组件之ResourceManager

我们先来说说上图中最中央的那个 ResourceManager（RM）。从名字上我们就能知道这个组件是负责资源管理的，整个系统有且只有一个 RM ，来负责资源的调度。它也包含了两个主要的组件：定时调用器(Scheduler)以及应用管理器(ApplicationManager)。
1、定时调度器(Scheduler)：从本质上来说，定时调度器就是一种策略，或者说一种算法。当 Client 提交一个任务的时候，它会根据所需要的资源以及当前集群的资源状况进行分配。注意，它只负责向应用程序分配资源，并不做监控以及应用程序的状态跟踪。
2、应用管理器(ApplicationManager)：同样，听名字就能大概知道它是干嘛的。应用管理器就是负责管理 Client 用户提交的应用。上面不是说到定时调度器（Scheduler）不对用户提交的程序监控嘛，其实啊，监控应用的工作正是由应用管理器（ApplicationManager）完成的。

三个重要组件之ApplicationMaster

每当 Client 提交一个 Application 时候，就会新建一个 ApplicationMaster 。由这个 ApplicationMaster 去与 ResourceManager 申请容器资源，获得资源后会将要运行的程序发送到容器上启动，然后进行分布式计算。

为什么是在获取资源之后要将运行的程序发送到容器上运行呢？按照正常的思路是将数据送到运算程序中去进行运算，就像是流水线一样进出。但是当数据量特别大了之后就不太适用了，因为这样移动数据的成本太大、消耗的时间太长。所以改为了数据不动，等着运算程序过去处理。这就是大数据分布式计算的思路。

三个重要组件之NodeManager

NodeManager 是 ResourceManager 在每台机器的上代理，负责容器的管理，并监控他们的资源使用情况（cpu，内存，磁盘及网络等），以及向 ResourceManager/Scheduler 提供这些资源使用报告。