Yarn的架构组件、运行原理和应用提交过程详解（ResourceManager、NodeManager、ApplicationMaster、Container、JobHistoryServer等）

最新推荐文章于 2024-03-13 00:39:03 发布

皮哥四月红

最新推荐文章于 2024-03-13 00:39:03 发布

阅读量3.3k

点赞数 2

分类专栏： Hadoop 文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/weixin_43230682/article/details/107361959

版权

Hadoop 专栏收录该内容

27 篇文章 3 订阅

订阅专栏

一、概述：
在这里插入图片描述
Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入，是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而Mapreduce等运算程序则相当于运行于操作系统之上的应用程序。
在这里插入图片描述
关于Yarn，有几点需要明白的是：

1）实际上，Yarn并不清楚用户所提交程序的运行机制是什么；
2）Yarn只负责提供运算资源的调度（用户程序向Yarn申请资源，Yarn就负责分配资源）；
3）Yarn中的主管角色是ResourceManager，而具体提供运算资源的角色是NodeManager；
4）Yarn框架与运行的用户程序完全解耦，这就意味着在Yarn上面可以运行各种类型的分布式运算程序（Mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序……；
5）Spark、Storm等运算框架都可以整合在Yarn上运行，只要他们各自的框架中有符合Yarn规范的资源请求机制即可；
6）Yarn就是一个通用的资源调度平台，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享。

二、架构组件

类似HDFS，YARN也是经典的主从（master/slave）架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，各组件的作用如下图所示：
在这里插入图片描述
1、ResourceManager
ResourceManager是YARN中主的角色
RM是一个全局的资源管理器，集群只有一个active的对外提供服务

负责整个系统的资源管理和分配
包括处理客户端请求
启动/监控 ApplicationMaster
监控 NodeManager、资源的分配与调度
它主要由两个组件构成：
调度器（Scheduler）
应用程序管理器（Applications Manager，ASM）

调度器Scheduler：

调度器根据队列、容量等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。
需要注意的是，该调度器是一个“纯调度器”
- 它不从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。
- 调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。

应用程序管理器Applications Manager，ASM：

应用程序管理器主要负责管理整个系统中所有应用程序
接收job的提交请求
为应用分配第一个 Container 来运行 ApplicationMaster
- 包括应用程序提交
- 与调度器scheduler协商资源以启动 ApplicationMaster
- 监控 ApplicationMaster 运行状态并在失败时重新启动它等

2、NodeManager
在这里插入图片描述
NodeManager 是YARN中的 slave角色
NodeManager ：

当一个节点启动时，它会向 ResourceManager 进行注册并告知 ResourceManager 自己有多少资源可用。
每个计算节点，运行一个NodeManager进程，通过心跳（每秒 yarn.resourcemanager.nodemanagers.heartbeat-interval-ms ）上报节点的资源状态(磁盘，内存，cpu等使用信息)
功能：
接收及处理来自 ResourceManager 的命令请求，分配 Container 给应用的某个任务；
NodeManager 监控本节点上的资源使用情况和各个 Container 的运行状态（cpu和内存等资源）
负责监控并报告 Container 使用信息给 ResourceManager。
定时地向RM汇报以确保整个集群平稳运行，RM 通过收集每个 NodeManager 的报告信息来追踪整个集群健康状态的，而 NodeManager 负责监控自身的健康状态；
处理来自 ApplicationMaster 的请求；
管理着所在节点每个 Container 的生命周期；
管理每个节点上的日志；
在运行期，通过 NodeManager 和 ResourceManager 协同工作，这些信息会不断被更新并保障整个集群发挥出最佳状态。
NodeManager 只负责管理自身的 Container，它并不知道运行在它上面应用的信息。负责管理应用信息的组件是 ApplicationMaster

3、Container
Container 是 YARN 中的资源抽象

YARN以Container为单位分配资源
它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等
当 AM 向 RM 申请资源时，RM 为 AM 返回的资源便是用 Container 表示的
YARN 会为每个任务分配一个 Container，且该任务只能使用该 Container 中指定数量的资源。
Container 和集群NodeManager节点的关系是：
一个NodeManager节点可运行多个 Container
但一个 Container 不会跨节点。
任何一个 job 或 application 必须运行在一个或多个 Container 中
在 Yarn 框架中，ResourceManager 只负责告诉 ApplicationMaster 哪些 Containers 可以用
ApplicationMaster 还需要去找 NodeManager 请求分配具体的 Container。
需要注意的是：
Container 是一个动态资源划分单位，是根据应用程序的需求动态生成的
目前为止，YARN 仅支持 CPU 和内存两种资源，且使用了轻量级资源隔离机制 Cgroups 进行资源隔离。
功能：
对task环境的抽象；
描述一系列信息；
任务运行资源的集合（cpu、内存、io等）；
任务运行环境

4、ApplicationMaster
功能：

获得数据分片；
为应用程序申请资源并进一步分配给内部任务（TASK）；
任务监控与容错；
负责协调来自ResourceManager的资源，并通过NodeManager监视容器的执行和资源使用情况。

ApplicationMaster 与 ResourceManager 之间的通信：

是整个 Yarn 应用从提交到运行的最核心部分，是 Yarn 对整个集群进行动态资源管理的根本步骤
application master周期性的向resourcemanager发送心跳，让rm确认appmaster的健康
Yarn 的动态性，就是来源于多个Application 的 ApplicationMaster 动态地和 ResourceManager 进行沟通，不断地申请、释放、再申请、再释放资源的过程。

5、JobHistoryServer
作业历史服务：记录在yarn中调度的作业历史运行情况，可以通过历史任务日志服务器来查看hadoop的历史任务，出现错误都应该第一时间来查看日志日志。
配置历史服务jobhistoryserver：
第一步：修改mapred-site.xml
node01执行以下命令修改mapred-site.xml

cd /xsluo/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim mapred-site.xml

增加如下内容：

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
</property>

注意：如果已经存在以上两项配置，那么就不需要再进行配置了。

第二步：修改yan-site.xml

cd /xsluo/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml

增加内容：

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 多长时间聚合删除一次日志 此处 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>2592000</value><!--30 day-->
</property>
<!-- 时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的 -->
<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>604800</value><!-- 7 day -->
</property>
<!-- 指定文件压缩类型用于压缩汇总日志 -->
<property>
    <name>yarn.nodemanager.log-aggregation.compression-type</name>
    <value>gz</value>
</property>
<!--  nodemanager本地文件存储目录  -->
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/xsluo/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/yarn/local</value>
</property>
<!--  resourceManager  保存最大的任务完成个数  -->
<property>
    <name>yarn.resourcemanager.max-completed-applications</name>
    <value>1000</value>
</property>

第三步：将修改后的文件同步到其他机器上面去
node01服务器执行以下命令，将修改后的文件同步发送到其他服务器上面去

cd /xsluo/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
scp mapred-site.xml  yarn-site.xml  node02:$PWD
scp mapred-site.xml  yarn-site.xml  node03:$PWD

第四步：重启yarn以及jobhistory服务
node01执行以下命令重启yarn

cd /xsluo/install/hadoop-2.6.0-cdh5.14.2
sbin/start-yarn.sh

启动jobhistory服务
在yarn-site.xml中如下属性指定的节点上，运行命令启动

cd /xsluo/install/hadoop-2.6.0-cdh5.14.2
sbin/mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

启动成功后会出现JobHistoryServer进程(使用jps命令查看，下面会有介绍)
并且可以从19888端口进行查看日志详细信息

node01:19888

点击链接，查看job日志
在这里插入图片描述
如果没有启动jobhistoryserver，无法查看应用的日志

打开如下图界面，在下图中点击History，页面会进行一次跳转

点击History之后跳转后的页面如下图是空白的，因为没有启动jobhistoryserver

jobhistoryserver启动后，在此运行MR程序，如wordcount
在这里插入图片描述
点击History连接，跳转一个赞新的页面

TaskType中列举的map和reduce，Total表示此次运行的mapreduce程序执行所需要的map和reduce的任务数

点击TaskType列中Map连接

看到map任务的相关信息比如执行状态,启动时间，完成时间。
可以使用同样的方式我们查看reduce任务执行的详细信息，这里不再赘述.
jobhistoryserver就是进行作业运行过程中历史运行信息的记录，方便我们对作业进行分析.

6、Timeline Server
用来写日志服务数据 , 一般来写与第三方结合的日志服务数据(比如spark等)
它是对jobhistoryserver功能的有效补充，jobhistoryserver只能对mapreduce类型的作业信息进行记录
它记录除了jobhistoryserver能够对作业运行过程中信息进行记录之外，还记录更细粒度的信息，比如任务在哪个队列中运行，运行任务时设置的用户是哪个用户。
根据官网的解释jobhistoryserver只能记录mapreduce应用程序的记录，timelineserver功能更强大,但不是替代jobhistory两者是功能间的互补关系
在这里插入图片描述
官网链接地址

三、Yarn应用运行原理

1、YARN应用提交过程
Application在Yarn中的执行过程，整个执行过程可以总结为三步：

应用程序提交
启动应用的ApplicationMaster实例
ApplicationMaster 实例管理应用程序的执行

具体提交过程为：
在这里插入图片描述

客户端程序向 ResourceManager 提交应用，并请求一个 ApplicationMaster 实例；
ResourceManager 找到一个可以运行一个 Container 的 NodeManager，并在这个 Container 中启动 ApplicationMaster 实
ApplicationMaster 向 ResourceManager 进行注册，注册之后客户端就可以查询 ResourceManager 获得自己 ApplicationMaster 的详细信息，以后就可以和自己的 ApplicationMaster 直接交互了（这个时候，客户端主动和 ApplicationMaster 交流，应用先向 ApplicationMaster 发送一个满足自己需求的资源请求）；
ApplicationMaster 根据 resource-request协议向 ResourceManager 发送 resource-request请求；
当 Container 被成功分配后，ApplicationMaster 通过向 NodeManager 发送 container-launch-specification信息来启动Container，container-launch-specification信息包含了能够让Container 和 ApplicationMaster 交流所需要的资料；
应用程序的代码以 task 形式在启动的 Container 中运行，并把运行的进度、状态等信息通过 application-specific协议发送给ApplicationMaster；
在应用程序运行期间，提交应用的客户端主动和 ApplicationMaster 交流获得应用的运行状态、进度更新等信息，交流协议也是 application-specific协议；
应用程序执行完成并且所有相关工作也已经完成，ApplicationMaster 向 ResourceManager 取消注册然后关闭，用到所有的 Container 也归还给系统。

2、MapReduce on YARN
如下图所示：
在这里插入图片描述
作业提交全过程详解：
（1）作业提交

第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
第2步：Client向RM申请一个作业id。
第3步：RM给Client返回该job资源的提交路径和作业id。
第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。
第5步：Client提交完资源后，向RM申请运行MrAppMaster。

（2）作业初始化

第6步：当RM收到Client的请求后，将该job添加到容量调度器（默认）中。
第7步：某一个空闲的NM领取到该Job。
第8步：该NM创建Container，并产生MRAppmaster。
第9步：下载Client提交的资源到本地。

（3）任务分配

第10步：MrAppMaster向RM申请运行多个MapTask任务资源。
第11步：RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

（4）任务运行

第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
第14步：ReduceTask向MapTask获取相应分区的数据。
第15步：程序运行完毕后，MR会向RM申请注销自己。

（5）进度和状态更新

YARN中的任务将其进度和状态(包括counter)返回给应用管理器,
客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新,
展示给用户。

（6）作业完成

除了向应用管理器请求作业进度外,
客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后，应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

3、Yarn应用生命周期

RM: Resource Manager
AM: Application Master
NM: Node Manager

1）Client向RM提交应用，包括AM程序及启动AM的命令。
2）RM为AM分配第一个容器，并与对应的NM通信，令其在容器上启动应用的AM。
3）AM启动时向RM注册，允许Client向RM获取AM信息然后直接和AM通信。
4）AM通过资源请求协议，为应用协商容器资源。
5）如容器分配成功，AM要求NM在容器中启动应用，应用启动后可以和AM独立通信。
6）应用程序在容器中执行，并向AM汇报。
7）在应用执行期间，Client和AM通信获取应用状态。
8）应用执行完成，AM向RM注销并关闭，释放资源。

申请资源->启动appMaster->申请运行任务的container->分发Task->运行Task->Task结束->回收container

皮哥四月红

关注

2
点赞
踩
36

收藏

觉得还不错? 一键收藏
0
评论
Yarn的架构组件、运行原理和应用提交过程详解（ResourceManager、NodeManager、ApplicationMaster、Container、JobHistoryServer等）

一、概述：Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而Mapreduce等运算程序则相当于运行于操作系统之上的应用程序。关于Yarn，有几点需要明白的是：1）实际上，Yarn并不清楚用户所提交程序的运行机制是什么；2）Yarn只负责提供运算资源的调度（用户程序向Yarn申请资源，Yarn就负责分配资源）；3）Yarn中的主管角色是ResourceManager，而具体提供运算资源的角色是NodeManager；4）Yarn框架与运行的用户程序
复制链接

扫一扫