Hadoop之Yarn学习(一)

一、Yarn 是什么？

   Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，
   它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和
   数据共享等方面带来了巨大好处。
   YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控 ）分离，主要方法是创建一个全局的    
   ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的 
   MapReduce作业或作业的DAG（有向无环图）。

二、Yarn产生的背景

   Hadoop1.x中的MapReduce构成图如下：
   ![这里写图片描述](https://img-blog.csdn.net/20170215235432258?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMzg1MDI3Nw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)


 在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：
   1个JobTracker带多个TaskTracker；
   JobTracker：负责资源管理和作业调度；
   TaskTracker：定期

1、MapReduce1.0存在的问题：

 1）单点故障：JobTracker只有一个，JobTracker挂了整个集群就没办法使用了；
 2）JobTracker负责接收来自各个JobTracker节点的RPC请求，压力会很大，限制了集群的扩展；随着节点规模增大之后，JobTracker就成为一个瓶颈；
3）仅支持MapReduce计算框架；MapReduce计算框架是一个基于Map和Reduce两阶段、适合批处理的、基于磁盘的计算框架；
   MapReduce计算框架优点：容错性好；
   MapReduce计算框架缺点：性能差；

2、资源利用率
　
　 1）在没有YARN之前，是一个集群一个计算框架。比如：Hadoop一个集群、Spark一个集群、HBase一个集群……
　
　　 2）造成各个集群管理复杂，资源的利用率很低；比如：在某个时间段内Hadoop集群忙而Spark集群闲着，反之亦然，各个集群之间不能共享资源造成集群间资源并不能充分利用；
　　
　　解决思路：
　
　 将所有的计算框架运行在一个集群中，共享一个集群的资源，按需分配；
Hadoop需要资源就将资源分配给Hadoop，Spark需要资源就将资源分配给Spark，
进而整个集群中的资源利用率就高于多个小集群的资源利用率；

3、运维成本

 采用“一个框架一个集群”的模式，则需要多个管理员管理这些集群，进而增加运维成本；而共享集群模式通常需要少数管理员即可完成多个框架的统一管理;

4、数据共享
　　
　 随着数据量的暴增，跨集群间的数据移动不仅需要花费更长的时间，且硬件成本也会大大增加；而共享集群模式可让多种框架共享数据和硬件资源,将大大减少数据移动带来的成本;

总结：

 1) 源于MRv1的缺陷：扩展性受限、单点故障、难以支持MR之外的计算框架；
 2) 多计算框架各自为战，数据共享困难，资源利用率低；

　　 MR: 离线计算框架
　　 Storm：实时计算框架
　　 Spark：内存计算框架
催生了YARN的产生。

三、yarn的工作原理与机制

向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；
接收来自JobTracker的命令（启动/杀死任务等）并执行接收到的命令;

YARN基本构成

Master/Slave结构，1个ResourceManager对应多个NodeManager；
YARN由Client、ResourceManager、NodeManager、ApplicationMaster组成；
Client向ResourceManager提交任务、杀死任务等；
ApplicationMaster由对应的应用程序完成；每个应用程序对应一个ApplicationMaster，
ApplicationMaster向ResourceManager申请资源用于在NodeManager上启动相应的Task；
NodeManager向ResourceManager通过心跳信息：汇报NodeManager健康状况、任务执行状况、领取任务等；

ResourceManager：整个集群只有一个，负责集群资源的统一管理和调度
　　
　　 1）处理来自客户端的请求（启动/杀死应用程序）；
　　 2）启动/监控ApplicationMaster；一旦某个AM挂了之后，RM将会在另外一个节点上启动该AM；
　　 3）监控NodeManager，接收NodeManager的心跳汇报信息并分配任务到NodeManager去执行；一旦某个NM挂了，标志下该NM上的任务，来告诉对应的AM如何处理；
　　 4）负责整个集群的资源分配和调度；

NodeManager：整个集群中有多个，负责单节点资源管理和使用
　　
　　 1）周期性向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态；
　　 2）接收并处理来自ResourceManager的Container启动/停止的各种命令；
　 　3）处理来自ApplicationMaster的命令；
　　 4）负责单个节点上的资源管理和任务调度；

ApplicationMaster：每个应用一个，负责应用程序的管理
　　
　　 1）数据切分；
　　 2）为应用程序/作业向ResourceManager申请资源(Container)，并分配给内部任务；
　　 3）与NodeManager通信以启动/停止任务；
　　 4）任务监控和容错（在任务执行失败时重新为该任务申请资源以重启任务）；
　　 5）处理ResourceManager发过来的命令：杀死Container、让NodeManager重启等；

Container
　
　　对任务运行环境的抽象；
　　1）任务运行资源（节点、内存、CPU）；
　　2）任务启动命令；
　　3）任务运行环境；
　　
　　 任务是运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的Map/Reduce/MPI/Spark Task；

YARN工作原理

1）用户向YARN中提交应用程序/作业，其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等；

2）ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Containter中启动该作业的ApplicationMaster；

3）ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态，直到运行结束。即重复步骤4-7；

4）ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源；

5）一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务；

6）NodeManager启动任务；

7）各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicaitonMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；
在作业运行过程中，用户可随时通过RPC向ApplicationMaster查询作业当前运行状态；

8）作业完成后，ApplicationMaster向ResourceManager注销并关闭自己；

YARN容错性

1、ResourceMananger

　 　基于ZooKeeper实现HA避免单点故障；

2、NodeManager

　 　执行失败后，ResourceManager将失败任务告诉对应的ApplicationMaster；
　 　由ApplicationMaster决定如何处理失败的任务；

3、ApplicationMaster
　　
　　 执行失败后，由ResourceManager负责重启；
　　 ApplicationMaster需处理内部任务的容错问题；
　 　RMAppMaster会保存已经运行完成的Task，重启后无需重新运行。

四、YARN调度框架

1、双层调度框架

　　 1）ResourceManager将资源分配给ApplicationMaster；
　　 2）ApplicationMaster将资源进一步分配给各个TASK；

2、基于资源预留的调度策略

　　 1）资源不够时，会为Task预留，直到资源充足；
　　 描述：当一个Task需要10G资源时，各个节点都不足10G，那么就选择一个节点，但是某个NodeManager上只有2G，那么就在这个 NodeManager上预留，当这个NodeManager上释放其他资源后，会将资源预留给10G的作业，直到攒够10G时，启动Task；
　　 缺点：资源利用率不高，要先攒着，等到10G才利用，造成集群的资源利用率低；
　　
　　 2）与“all or nothing”策略不同（Apache Mesos）
　　 描述：当一个作业需要10G资源时，节点都不足10G，那就慢慢等，等到某个节点上有10G空闲资源时再运行，很可能会导致该Task饿死。

五、YARN设计目标

通用的统一的资源管理系统：
 1）同时运行长应用程序（永不停止的程序：Service、HTTP Server）；
 2）短应用程序（秒、分、小时级内运行结束的程序：MR job、Spark job等）；

 以YARN为核心的生态系统

在引入YARN之后，可以在YARN上运行各种不同框架的作业：
   离线计算框架：MapReduce
   DAG计算框架：Tez
   流式计算框架：Storm
   内存计算框架：Spark

六、MapReduce2.0与YARN

1、一个MapReduce应用程序需要如下模块：
　　1）任务管理和资源调度；
　　2）任务驱动模块（MapTask、ReduceTask）；
　　3）用户代码（Mapper、Reducer）；

2、MapReduce2.0的组成：
　　1）YARN（整个集群只有一个）；
　　2）MRAppMasster（一个应用程序一个）；
　　3）用户代码（Mapper、Reducer）；

3、MapReducer1.0和MapReduce2.0的区别：
　　1）MapReduce1.0是一个独立的系统，直接运行在Linux上；
　　2）MapReduce2.0则是运行在YARN上的框架，且可与多种框架一起运行在YARN之上；

4、MapReduce2.0和YARN的区别：
　　1）YARN是一个资源管理系统，负责资源管理和调度；
　　2）MapReduce只是运行在YARN上的一个应用程序；如果把YARN看成是Android，那么MapReduce就是运行在android上个一个app；