大数据入门（五）YARN简介以及工作流程详解

最新推荐文章于 2024-08-11 19:59:57 发布

Gent_倪

最新推荐文章于 2024-08-11 19:59:57 发布

阅读量2.4k

点赞数 1

分类专栏：大数据文章标签： big data yarn hadoop

本文链接：https://blog.csdn.net/qq_37771475/article/details/119247800

版权

大数据专栏收录该内容

18 篇文章 6 订阅

订阅专栏

Apache YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop的集群资源管理系统。YARN的核心思想是将资源管理和作业调度/监控的功能拆分为单独的守护进程——其中ResourceManager用来管理集群资源，NodeManager用来启动和监控容器。

一、YARN相关概念解析

Container（容器）：是集群资源（包含内存、CPU、磁盘、网络等）的抽象和封装，一个Container就是一组分配的系统资源。
Job / Application（作业或应用）：是需要执行的一个工作单元：它包括输入数据、MapReduce程序和配置信息。
ResourceManager（RM，资源管理器）：是一个全局的资源管理器，负责整个系统的资源管理和分配，主要包括两个组件，即定时调用器(Scheduler)以及应用管理器(ApplicationManager)。
Scheduler（调度器）：YARN Scheduler调度器的工作就是根据既定策略为应用分配资源。目前，YARN中有三种调度器：FIFO调度器、容量调度器和公平调度器。
ApplicationManager（应用管理器）：负责系统中所有应用程序的管理工作，主要包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动等。
ApplicationMaster（App Mstr）：每当Client提交一个Application的时候，就会新建一个ApplicationMaster。由这个ApplicationMaster去与ResourceManager申请容器资源，获得资源后会将要运行的程序发送到容器上启动，然后进行分布式计算。
NodeManager（节点管理器）：是ResourceManager在每台机器上的代理，主要工作是负责容器的管理，并监控容器的资源使用情况，并且会定期向ResourceManager/Scheduler提供这些资源的使用报告，再由ResourceManager决定对节点的资源进行何种操作（分配，回收等）。

在这里插入图片描述

二、提交一个Application到YARN的流程详解

当用户向Yarn提交一个应用程序后，Yarn将分两个阶段运行该程序：第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。

首先，客户端向ResourceManger提交Application，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序。
ResourceManager向NodeManager通信，为该Application分配第一个容器。并在这个容器中运行这个应用程序对应的ApplicationMaster（对应步骤2a和2b）。
当ApplicationMaster启动后，会向ResourceManager注册自己，并保持心跳连接
然后ApplicationMaster会将Application进行拆分成多个Task（比如MapReduce中的MapTask和ReduceTask），接着采用轮询的方式通过RPC请求向ResourceManager为每个Task申请和获取资源
ResourceManager返回ApplicationMaster申请的Container信息。申请成功的Container由ApplicationMaster进行初始化。Container的启动信息初始化后，ApplicationMaster与对应的NodeManager通信，要求NodeManager启动Container。
当容器启动后，ApplicationMaster会与NodeManager保持通信，从而对NodeManager上运行的任务进行监控和管理，Container运行期间ApplicationMaster对Container进行监控。Container通过RPC协议向对应的ApplicationMaster汇报自己的进度和状态等信息。
当应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己，并允许属于它的Container被收回。

以上就是一个Application的大体运行流程。

三、YARN Scheduler 调度器

1. FIFO Scheduler（先进先出调度器）：将应用按提交的顺序放进一个先进先出的队列中。然后在进行资源分配的时候，按先进先出的原则为应用分配资源。当第一个应用的资源得到满足后，才会为下一个应用分配资源。

2. Capacity Scheduler（容量调度器）：将整个集群资源划分给多个队列，每个队列按需求配置不同的容量（即资源的百分比），并且采用FIFO调度策略。通过分配容量给不同的队列，这样可以保证每个队列不会占用整个集群的全部资源。

如上图所示，我们可以将整个集群资源划分给AB两个队列。其中A分配到整个集群资源的60%，B分配到40%，并且每个队列下面可以继续划分成不同的子队列，比如B队列继续划分为B1和B2。

注意：单个作业使用的资源不会超过其队列容量。但是如果整个队列资源不够用时，并且其他组织队列有空闲资源，那么容量调度器会将这部分空闲资源分配给队列中的作业。这称为弹性队列（queue elasticity）。可通过maximum-capacity限制整个队列的资源使用上限（百分比）。

3. Fair Scheduler（公平调度器）：与容量调度器不同的是，公平调度器不会预先占用一定的系统资源，而是会动态的分配资源。

如上图所示，当job 1提交时，整个集群没有其他作业，此时job 1会独占整个集群资源。当job 2提交后，job 1会将释放的资源分配给新的Job，最终使每个任务获取几乎一样多的资源，从而达到公平的目的。

公平调度器也可以在多个队列间工作，如上图所示，例如有两个用户A和B，他们分别拥有一个队列。当A启动一个Job而B没有任务提交时，A会获得全部集群资源；当B启动一个Job后，A的任务会继续运行，不过队列A会慢慢释放它的一些资源，之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个Job并且其它任务也还在运行时，那么它将会和B队列中的的第一个Job共享队列B的资源，也就是队列B的两个Job会分别使用集群四分之一的资源，而队列A的Job仍然会使用集群一半的资源，结果就是集群的资源最终在两个用户之间平等的共享。

当整个集群资源用尽时提交一个作业，此时会处于accepted状态，并等待集群资源的释放。为了使作业从提交到执行所需的时间可预测，公平调度器支持抢占（preemption）功能。所谓抢占，就是允许调度器终止那些占用资源超过了其公平共享份额的队列的contains，这些contains资源释放后可以分配给资源数量低于应得份额的队列。注意：抢占会降低整个集群的效率，因为被终止的contains需要重新执行。

四、企业队列配置样例

root
--> app(Fair Scheduler:80%)
   --> etl-monthly(占用整个集群30%的资源，最多可到80%，采用FIFO策略)
   --> etl-daily(占用整个集群30%的资源，最多可到100%，采用FIFO策略)
   --> etl-eco(占用整个集群20%的资源，最多可到60%，采用FIFO策略)
--> default(Fair Scheduler:20%)