Yarn WebUI使用各指标详解

最新推荐文章于 2024-04-23 16:52:13 发布
最新推荐文章于 2024-04-23 16:52:13 发布
阅读量875 收藏 7
点赞数 1
分类专栏： 大数据知识 文章标签： hadoop 大数据 mapreduce yarn
原文链接：http://program-park.top/2022/02/10/hadoop_38/
版权 
转载专用：
        读到了好文章，用于分享收藏，侵权删。
        转发自大佬：大Null，http://program-park.top/2022/02/10/hadoop_38/

目录

前言

1.WebUI V1使用指南

1.1 首页

1.2 应用程序分析

2. HistoryServer服务

2.1 JobHistoryServer管理MR应用

2.1.1 提交MR应用程序

2.1.2 MR运行历史信息

2.1.3 JobHistoryServer运行流程

2.2 JobHistoryServer WebUI

2.2.1首页

2.2.2 JobHistoryServer构建说明

2.2.3 MR应用程序查看

2.2.4 JobHistoryServer配置

2.2.5 JobHistoryServer本地日志

2.2.6 JobHistoryServer堆栈信息

3. TimelineServer服务

3.1 启用Timeline服务

3.2 启动Timeline服务

前言

YARN 提供 WEB UI 服务，在 Hadoop 2.9.0 版本中，提供新 WebUI V2 服务，可提供对运行在 YARN 框架上的应用程序的可视化。

1.WebUI V1使用指南

与 HDFS 一样，YARN 也提供了一个 WebUI 服务，可以使用 YARN Web 用户界面监视群集、队列、应用程序、服务、流活动和节点信息。还可以查看集群详细配置的信息，检查各种应用程序和服务的日志。

1.1 首页

浏览器输入http://hadoop2:8088/访问 YARN WebUI 服务，华为MRS则是通过FI跳转，页面打开后，以列表形式展示已经运行完成的各种应用程序，如 MapReduce 应用、Spark 应用、Flink 应用等，与点击页面左侧 Application 栏目红线框 Applications 链接显示的内容一致。

1.2 应用程序分析

当点击任意一个应用程序时，会打开一个新页面，并展示这个应用程序的运行信息。以 MR 应用为例，如果应用程序正在运行，打开的页面如下图所示；如果应用程序已经运行完成，打开的页面如下图所示。

  •         ①正在运行的MR应用程序

         ②运行完成的MR应用程序

 

2. HistoryServer服务

YARN 中提供了一个叫做 JobHistoryServer 的守护进程，它属于 YARN 集群的一项系统服务，仅存储已经运行完成的 MapReduce 应用程序的作业历史信息，并不会存储其他类型（如Spark、Flink等）应用程序的作业历史信息。

  1. 当启用 JobHistoryServer 服务时，仍需要开启日志聚合功能，否则每个 Container 的运行日志是存储在 NodeManager 节点本地，查看日志时需要访问各个 NodeManager 节点，不利于统一管理和分析。
  2. 当开启日志聚合功能后 AM 会自动收集每个 Container 的日志，并在应用程序完成后将这些日志移动到文件系统，例如 HDFS。然后通过 JHS 的 WebUI 服务来提供用户使用和应用恢复。

2.1 JobHistoryServer管理MR应用

当提交运行 MapReduce 程序在 YARN 上运行完成以后，将应用运行日志数据上传到 HDFS 上，此时 JobHistoryServer 服务可以从 HDFS 上读取运行信息，在 WebUI 进行展示，具体流程如下。

2.1.1 提交MR应用程序

  使用 yarn jar 提交运行官方自带词频统计 WordCount 程序到 YARN 上运行，命令如下：

yarn jar .../hadoop-3.3.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

2.1.2 MR运行历史信息

MR 应用程序在运行时，是通过 AM（MRAppMaster 类）将日志写到 HDFS 中，会生成.jhist、.summary和_conf.xml文件。其中.jhist文件是 MR 程序的计数信息，.summary文件是作业的摘要信息，_conf.xml文件是 MR 程序的配置信息。

  1. MR应用程序启动时的资源信息

MR应用程序启动时，会把作业信息存储到${yarn.app.mapreduce.am.staging-dir}/${user}/.staging/${job_id}目录下。

yarn.app.mapreduce.am.staging-dir：/tmp/hadoop-yarn/staging（默认）

 

  1. MR应用程序运行完成时生成的信息

MR应用程序运行完成后，作业信息会被临时移动到${mapreduce.jobhistory.intermediate-done-dir}/${user}目录下。

mapreduce.jobhistory.intermediate-done-dir：/mr-history/intermediate（配置）

 

  1. MR应用程序最终的作业信息

  等待${mapreduce.jobhistory.move.interval-ms}配置项的值（默认 180000 毫秒= 3 分钟）后，会把${mapreduce.jobhistory.intermediate-done-dir}/${user}下的作业数据移动到${mapreduce.jobhistory.done-dir}/${year}/${month}/${day}/${serialPart}目录下。此时.summary文件会被删除，因为.jhist文件提供了更详细的作业历史信息。

  JHS 服务中的作业历史信息不是永久存储的，在默认情况下，作业历史清理程序默认按照 86400000 毫秒（一天）的频率去检查要删除的文件，只有在文件早于mapreduce.jobhistory.max-age-ms（一天）时才进行删除。JHS 的历史文件的移动和删除操作由 HistoryFileManager 类完成。

mapreduce.jobhistory.intermediate-done-dir：/mr-history/intermediate（配置） 
mapreduce.jobhistory.intermediate-done-dir：/mr-history/done（配置） 
mapreduce.jobhistory.cleaner.enable: true（默认） mapreduce.jobhistory.cleaner.interval-ms: 
86400000（1天） mapreduce.jobhistory.max-age-ms: 86400000（1天）

2.1.3 JobHistoryServer运行流程

  1. 客户端提交 MR 应用程序到 RM；
  2. 在/tmp/logs/<user>/logs/application_timestamp_xxxx中创建应用程序文件夹；
  3. MR 作业在群集上的 YARN 中运行；
  4. MR 作业完成，在提交作业的作业客户上报告作业计数器；
  5. 将计数器信息（.jhist文件）和job_conf.xml文件写入/user/history/done_intermediate/<user>/job_timestamp_xxxx
  6. 然后将.jist文件和job_conf.xml从/user/history/done_intermediate/<user>/移动到/user/history/done目录下；
  7. 来自每个 NM 的 Container 日志汇总到/tmp/logs/<用户ID>/logs/application_timestamp_xxxx；

2.2 JobHistoryServer WebUI

  JobHistoryServer 服务 WebUI 界面相关说明：

2.2.1首页

  浏览器输入：http://hadoop1:19888 访问 JHS 服务，页面打开后，以列表形式展示已经运行完成的 MR 应用程序，与点击页面左侧 Application 栏目红线框 jobs 链接显示的内容一致。

2.2.2 JobHistoryServer构建说明

  浏览器输入 http://hadoop1:19888/jobhistory/about 地址或者在点击页面左侧 Application 栏目下红线框 about 链接后会展示 JHS 服务的构建版本信息和启动时间。

2.2.3 MR应用程序查看

  在 JHS 作业列表点击任意一个作业：

 作业信息查看：

2.2.4 JobHistoryServer配置

  浏览器输入 http://hadoop1:19888/conf 或点击页面左侧 Tools 栏目中的红线框 configuration 链接会打开 JHS 的所需配置页面，在配置页面中，主要有集群自定义配置（core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml）和集群默认配置（core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml）两种。

2.2.5 JobHistoryServer本地日志

  浏览器输入 http://hadoop1:19888/logs/ 地址或点击页面左侧 Tools 栏目中的红线框 local logs 链接会打开 JHS 服务的所在节点的 log 文件列表页面。

2.2.6 JobHistoryServer堆栈信息

  浏览器输入 http://hadoop1:19888/stacks 地址或点击页面左侧 Tools 栏目中的红线框 Server stacks 链接会打开 JHS 服务的堆栈转储信息。stacks 功能会统计 JHS 服务的后台线程数、每个线程的运行状态和详情。这些线程有 MoveIntermediateToDone 线程、JHS 的 10020 RPC 线程、JHS 的 10033 Admin 接口线程、HDFS 的

StatisticsDataReferenceCleaner 线程、JHS 服务度量系统的计时器线程、DN 的 Socket 输入流缓存线程和 JvmPauseMonitor 线程等。

3. TimelineServer服务

由于Job History Server仅对MapReduce应用程序提供历史信息支持，其他应用程序的历史信息需要分别提供单独的HistoryServer才能查询和检索。例如 Spark 的 Application 需要通过 Spark 自己提供的org.apache.spark.deploy.history.HistoryServer来解决应用历史信息。

为了解决这个问题，YARN 新增了Timeline Server组件，以通用的方式存储和检索应用程序当前和历史信息。

到目前，有 V1、V1.5 和 V2 共三个版本，V1 仅限于写入器/读取器和存储的单个实例，无法很好地扩展到小型群集之外；V2 还处于 alpha 状态，所以这里以 V1.5 进行讲解。

版本

说明

V1

基于LevelDB实现。

V1.5

在V1的基础上改进了扩展性。

V2

1.使用更具扩展性的分布式写入器体系结构和可扩展的后端存储。

2.将数据的收集（写入）与数据的提供（读取）分开。它使用分布式收集器，每个YARN应用程序实质上是一个收集器。读取器是专用于通过REST API服务查询的单独实例。

3.使用HBase作为主要的后备存储，因为Apache HBase可以很好地扩展到较大的大小，同时保持良好的读写响应时间。

4.支持在流级别汇总指标。

Timeline Server是YARN的一个重要组件，用于收集和存储应用程序运行过程中产生的事件和元数据信息，而不仅针对Spark任务。它支持各种类型的事件和元数据，包括作业提交、任务开始、任务结束等，同时也支持自定义事件和属性。因此，Timeline Server不仅适用于Spark应用程序，也适用于其他类型的应用程序，如MapReduce、Tez、Spark Streaming等。

TimelineServer功能更强大，可以记录第三方计算引擎的记录，但不是替代JobHistoryServer。两者是功能间的互补关系。  

官方文档：

  Apache Hadoop 3.1.4 – The YARN Timeline Server

  Apache Hadoop 3.1.4 – The YARN Timeline Service v.2

  YARN Timeline Service v.2 服务架构图如下：

3.1 启用Timeline服务

  在yarn-site.xml配置文件中添加如下属性，启动 Timeline Server 服务功能：

<property>
	<name>yarn.timeline-service.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.timeline-service.hostname</name>
	<value>192.168.68.102</value>
	<description>设置YARN Timeline服务地址</description>
</property>
<property>
	<name>yarn.timeline-service.address</name>
	<value>192.168.68.102:10200</value>
	<description>设置YARN Timeline服务启动RPC服务器的地址，默认端口10200</description>
</property>
<property>
	<name>yarn.timeline-service.webapp.address</name>
	<value>192.168.68.102:8188</value>
	<description>设置YARN Timeline服务WebUI地址</description>
</property>
<property>
	<name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
	<value>true</value>
	<description>设置RM是否发布信息到Timeline服务器</description>
</property>
<property>
	<name>yarn.timeline-service.generic-application-history.enabled</name>
	<value>true</value>
	<description>设置是否Timelinehistory-servic中获取常规信息,如果为否,则是通过RM获取</description>
</property>

同步yarn-site.xml文件到集群其他机器，并重启 YARN 服务。

3.2 启动Timeline服务

  在上述配置中指定的 Timeline 服务位于hadoop2节点上，需要在hadoop2节点的 shell 客户端中启动，如果在非hadoop2节点上启动时会报错。

  启动命令如下：yarn --daemon start timelineserver

在浏览器中输入：http://192.168.68.102:8188/applicationhistory

 

承缘丶
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn的使用与升级Node.js的方法详解
10-19
主要给大家介绍了关于yarn的使用与利用yarn升级Node.js的方法，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
Yarn的WEB UI的详细说明
热门推荐
没有合适的昵称
07-17 1万+
我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图： 我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息 对上面7个字段信息进行解释： 1.Active Nodes：表示Yarn集群管理的节点的个数，其实就是NodeManager的个数，我们集群有2个NodeManager 2.Me...
yarn集群ui界面详解
lcm_linux的博客
08-18 1万+
1、UI界面详解 我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图： 我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息 对上面7个字段信息进行解释： 1.Active Nodes：表示Yarn集群管理的节点的个数，其实就是NodeManager的个数，我们集群有2个NodeManager 从配置中可以看到每一个NodeManager管理的内存大小是1630MB，那么整个Yarn集群管理的内
yarn包管理工具的使用
11-07
yarn包管理工具的使用
fozzie:Web UI基础库
03-26
福齐 Just Eat全球平台的基础前端库。 设计为可在要共享这些基本样式的任何站点上重用。 用法 在Sass设置中使用fozzie模块的最简单方法是使用 。 如果您正在使用，那么Eyeglass将自动设置为可以使用。 如果没有，则可以通过以下方式之一使用它： 使用NPM或Yarn安装fozzie模块： yarn add @justeat/fozzie 然后，在您的Sass文件中，您将需要导入此模块。 @import ' fozzie ' ; 然后，您可以使用fozzie在此模块中可用的基本样式（稍后将进行记录）。
Yarn的WEB UI的解析
weixin_46941625的博客
11-26 2099
我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图： 我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息 对上面7个字段信息进行解释： 1.Acti...
Hadoop生态圈（三十四）- YARN WebUI服务使用指南
程序园@大Null
02-10 5265
TimelineServer服务，JobHistoryServer配置，JobHistoryServer本地日志，JobHistoryServer堆栈信息，HistoryServer服务，JobHistoryServer运行流程，JobHistoryServer管理MR应用
yarn WEB UI及reserved memory、spark WEB UI
peidezhi的专栏
03-02 4441
1 yarn web ui: Apps Submitted：已提交的应用 Apps Completed：已完成的应用 Apps Running：正在运行的应用 Containers Running：正在运行的容器 Memory Total：集群总内存 Memory Used：已使用内存 VCores Total：集群 CPU 总核数 VCores Used：已使用的 CPU 核数 Memory Reserved：预..
YARN 作业 Staging目录的用途及配置
MAYIBO—BG的专栏
12-17 4522
目录staging目录的用途MapReduce作业staging的配置示例Spark 作业Staging目录的配置示例 staging目录的用途 关于staging目录可能很多人都不太会关注，毕竟日常运行作业也用不到这些配置。不过了解它对于我们理解作业的执行流程也是有所帮助的，比如我们都会使用hadoop jar 或 spark-submit等命令来提交一个MR或Spark作业，然后我们就会看到在集群的某些计算节点上启动executor(MapRedece对应的是mapper和reducer)来执行任务。这
yarn安装和使用文档
02-05
yarn安装
dev-ui：[WIP] npm和yarn的浏览器UI（脚本，依赖项...）
02-03
开发者 我很快尝试像建议在npm / yarn之上构建UI的脚手架。 如何使用 目前尚未发布。 您已经可以尝试的是： yarn develop并打开本地主机：3000 要在另一个项目上尝试，请运行yarn link ，切换到项目的根目录，然后运行dev-ui 去做 流输出正确 获取可能的脚本（/脚本） 运行脚本（/ scripts / run /：script） 获得安装的依赖项（/依赖项） 安装依赖 删除依赖 搜索依赖关系（ ） 用户界面 贡献者 感谢这些很棒的人（）： 该项目遵
3.1.1yarn webui页面FinishTime显示时间戳的问题解决
11-16
用于解决3.1.1yarn webui页面上FinishTime那一栏显示时间戳的问题，只要是3.1.1版本的，后面的版本可以随意修改
Hadoop新MapReduce框架Yarn详解
03-04
使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：图1.Hadoop原MapReduce架构从上图中可以清楚的看出原MapReduce程序的流程及设计思路：可以看得出原来的map-reduce架构是...
Yarn的安装与使用详细介绍
09-01
不知道大家有没有觉察到Facebook近年大招频出。Yarn是Facebook最近发布的一款依赖包安装工具。Yarn是一个新的快速安全可信赖的可以替代NPM的依赖管理工具，Yarn正式发布没几天...这篇文章将详细介绍Yarn的安装与使用。
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1423
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
【Hadoop】-Hive部署[12]
最新发布
weixin_63106307的博客
04-23 1160
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
伪分布Hadoop下安装Hive
wanglingli95的博客
04-21 733
下载官网：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/ （3）进入/usr/local/，使用rpm安装mysql解压后的其中5个包（按照以下顺序安装） （4）启动/关闭Mysql服务器 二、查看Mysql的原始密码并登录进入mysql （1）查看原始密码 （2）使用原始密码登录 （3）修改密码为Ad
【Hadoop3.3.6】数据块副本放置策略及解析EditLog和FsImage
若兰幽竹
04-22 1104
目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结 一、摘要 通过解析存储于NameNode节点上的日志文件EditLog和镜像文件（元数据）Fsimage来反向验证HDFS的数据块副本存放策略，其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。 二、正文 2.1 环境说明 软件 说明 VMWareWorkstation 版本16.2.+
如何禁用Yarn web UI
07-14
要禁用 Yarn web UI，您可以按照以下步骤进行操作： 1. 打开 Yarn 配置文件 `yarn-site.xml`，该文件通常位于 Yarn 的配置目录下（例如`/etc/hadoop/conf`）。 2. 在 `yarn-site.xml` 文件中，查找并定位到以下属性： ``` <property> <name>yarn.resourcemanager.webapp.address</name> <value>0.0.0.0:8088</value> </property> ``` 3. 注释掉或者删除上述配置属性，即将其修改为： ``` <!-- <property> <name>yarn.resourcemanager.webapp.address</name> <value>0.0.0.0:8088</value> </property> --> ``` 4. 保存并关闭 `yarn-site.xml` 文件。 5. 重启 Yarn 服务，以使配置的更改生效。 现在，Yarn web UI 将会被禁用，无法通过访问 `http://<YARN_MASTER>:8088` 来查看 Yarn web UI。请注意，`<YARN_MASTER>` 是您的 Yarn 主节点的主机名或 IP 地址。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值