Hadoop深入理解之Yarn

 本文参考http://jira.mumway.com/browse/DATA-136?filter=-1

一 介绍
        YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

二 优缺点
        1.优点：与其他用户程序完全解耦，YARN 上可以运行各种类型的分布式运算程序。
                      资源管理和作业控制分离，减小JobTracker压力
                      
三 组件
        1、ResourceManager
        ResourceManager是Yarn的核心组件，主要由任务调度器（YarnScheduler）和应用程序管理器（Applications Manager）组成。其主要功能是负责系统资源的管理和分配。

        任务调度器(YarnScheduler)
        任务调度器根据系统资源容量以及管理员对队列的限制条件，按照一定的策略将资源分配给正在运行的应用程序。相比于Hadoop1.x而言，Yarn为任务调度器做了减负，任务调度器不再负责跟踪和监控应用的执行状态，也不负责重新启动因为应用执行失败或者硬件故障而运行失败的任务，这些任务都有该应用程序对应的ApplicationMaster来负责了，这使得YarnScheduler的功能更加纯粹。另外，任务调度器和Hadoop1.x一样也是一个热插拔模块，你可以自定义自己的任务调度器，同样你也可以直接使用其他任务调度器，如，Fair Scheduler或者Capacity Scheduler。

        应用程序管理器（Applications Manager）
        应用程序管理器，负责管理整个系统中所有应用程序，包括应用程序提交、向任务调度器申请资源启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它。其他ResourceManager中还包含了其他组件，如ResourceTrackerService用来直接处理心跳，NMLivelinessMonitor用来监控NodeManager，NodesListManager 提供NodeManager的黑白名单等等。

        2、ApplicationMaster(AM)
        每当用户提交了一个应用程序就会为这个应用程序产生一个对应的ApplicationMaster，并且这个这个单独进程是在其中一个子节点上运行的。它的主要功能：为应用向ResourceManager申请资源、在job对Task实行调度、与NodeManager通信以启动或者停止任务、监控所有任务的运行情况，并且在任务失败的情下，重新为任务申请资源并且重启任务、负责推测任务的执行、当ApplicationMaster向ResourceManager注册后，ApplicationMaster可以提供客户端查询作业进度信息等。

        3、NodeManager(NM)
        NM是每个子节点上的资源和任务管理器，一方面，它会定向通过心跳信息向RM汇报本节点上的资源使用情况和各个Container的运行情况；另一方面，它会接收并且处理来自AM的Container启动和停止的各种请求。它的能有点像Hadoop1.x中的TaskTracker。

        4、Container
        Container是Yarn中对系统资源的抽象，同时它也是系统资源分配的基本单位，它封装节点上多维度资源，其中包括CPU、内存、磁盘、网络等。Yarn会为每个任务分配一个Container，并且该任务只能够使用该Container中所描述的资源。值得关注的的是，Yarn中的Container和MRv1中的Slot是完全不同的，Container是一个动态的资源划分单位，它是根据实际提交的应用程序所需求的资源自动生成的，换句话说，Container其里边所描述的CPU、内存等资源是根据实际应用程序需求而变的。而Slot是一个静态的资源抽象单位，每一个同类型的Slot所描述的资源信息都是一样的。
四 工作原理

        步骤1，用户向Yarn提交应用程序，其中包括用户程序、相关文件、启动ApplicationMaster命令、ApplicationMaster程序等。

        步骤2，ResourceManager为该应用程序分配第一个Container，并且与Container所在的NodeManager通信，并且要求该NodeManager在这个Container中启动应用程序对应的ApplicationMaster。

        步骤3，ApplicationMaster首先会向ResourceManager注册，这样用户才可以直接通过ResourceManager查看到应用程序的运行状态，然后它为准备为该应用程序的各个任务申请资源，并监控它们的运行状态直到运行结束，即重复后面4~7步骤。

        步骤4，ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

        步骤5，一旦ApplicationMaster申请到资源后，便会与申请到的Container所对应的NodeManager进行通信，并且要求它在该Container中启动任务。

        步骤6，任务启动。NodeManager为要启动的任务配置好运行环境，包括环境变量、JAR包、二进制程序等，并且将启动命令写在一个脚本里，通过该脚本运行任务。

        步骤7，各个任务通过RPC协议向其对应的ApplicationMaster汇报自己的运行状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以再任务运行失败时重启任务。

        步骤8，应用程序运行完毕后，其对应的ApplicationMaster会向ResourceManager通信，要求注销和关闭自己。

        这个需要注意的是在整个工作流程当中，ResourceManager和NodeManager都是通过心跳保持联系的，NodeManager会通过心跳信息向ResourceManager汇报自己所在节点的资源使用情况。