在yarn的web原生界面上，点击ApplicationMaster无法看到SparkWebUi界面的问题解决

VIP文章 于 2023-07-02 23:01:18 发布
阅读量469 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据 hadoop yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LNa520/article/details/131506427
版权

Yarn web proxy服务介绍


Yarn web proxy是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了缓解RM访问请求压力，也可以减少通过YARN进行基于网络的攻击的可能性。

问题描述


在spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面，需要跑完后，通过history页面才能看到，不能看到实时的web监控；

问题原因


在RM中，它可以启动一个单独的进程，对外提供web服务，从resourcemanager上点击正在执行的app，会跳转到yarn.web-proxy.address，这里展示正在执行的job信息，job执行结束后，会跳转到historyserver上；如果没有配置yarn.web-proxy.address，则这个功能会集成到RM中。

问题解决


配置Yarn的 web proxy服务，配置如下：

  1. 在hadoop集群的所有节点yarn-site.xml中加入如下配置
  <property>
    <name>yarn
最低0.47元/天 解锁文章
爱折腾的小土豆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
3.1.1yarn webui页面FinishTime显示时间戳的问题解决
11-16
用于解决3.1.1yarn webui页面上FinishTime那一栏显示时间戳的问题，只要是3.1.1版本的，后面的版本可以随意修改
tf-yarn:仅需几行代码即可在YARN上训练TensorFlow模型！
05-17
tf-yarn是我们在Criteo建立的Python库，用于在Hadoop / YARN集群上训练TensorFlow模型。 可以在找到介绍性博客文章。 它支持在一个或多个具有不同分配策略的工作器上运行，并且可以仅使用几行代码就可以在CPU或GPU...
基于react+yarn+antD设计的博客前端展示界面源码.zip
最新发布
06-04
基于react+yarn+antD设计的博客前端展示界面源码
Spark on Yarn遇到的几个问题及解决思路
guohecang的博客
10-09 1万+
Spark on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
spark 通过client提交job无法打开spark driver ui(500错误)
遥望......
03-02 1817
我们在生产环境常用的提交job模式一般通过web，如livy等restful api方式提交job.或者是通过spark-shell直接提交，对于大部分企业来说，都是在集群之外通过在集群之外的client节点提交job的方式，本人使用的集群环境是aws emr,提交job的方式是第二种，但是在client节点执行spark-shell的时候，通过yarn后台点击job的application ma...
spark报错——无法访问WebUI
weixin_63507910的博客
04-17 1160
并且spark启动无报错，shell登入正常，唯独无法访问WebUI，通过日志最后发现，并非无法访问WebUI，而是spark在启动中，无法绑定到端口8080，导致spark绑定到其他端口，所以无法通过8080访问WebUI。同时，无法访问WebUI也有很多原因，如进程启动失败等导致，建议读者通过日志记录查找问题，最后通过搜索引擎解决问题。笔者在安装spark，并配置spark高可用后，发现无法访问spark的WebUI，即无法访问。关于进程启动失败，而无法访问WebUI，请看笔者这篇文章。
解决spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面
join_null的博客
11-23 2539
1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property> 在指定的master01节点启动web-proxy服务：./sbin/yarn-daemon.sh start proxyserver 2.重启所有节点.
大数据学习笔记-Yarn（二）
zhang_232的专栏
02-19 445
本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容
生产环境实战spark （8）分布式集群 Hadoop集群WEBUI打不开问题解决，关闭防火墙firewall
段智华的博客
04-25 2135
生产环境实战spark （8）分布式集群  Hadoop集群WEBUI打不开问题解决在上一步中安装了Hadoop集群，发现127.0.0.1:50070 页面无法打开。1，master本地检查webui     在云平台master上直接打开浏览器，检查127.0.0.1：50070可以打开。    初步定位是防火墙的问题2，关闭防火墙。CentOS 7.0默认使用的是firewall作为防火墙,
spark on yarn webUI logs不能查看
JHON07的博客
07-08 3789
执行spark on yarn 执行：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 3  ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 10  命令执行成功后在yar...
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 4911
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
sonos-web:Sonos音频系统的Web界面
05-17
sonos-web是Sonos音频系统的Web界面，其创建目的是拥有一个漂亮的界面来管理队列，添加Spotify之类的流服务（甚至适用于非高级用户！），并允许其他开发人员自定义UX。如他们所愿，通过插件使项目可扩展。 设置 第一...
TensorFlow on YARN (TonY) - 在Apache Hadoop上原生运行TensorFlow的框架-python
06-18
TensorFlow on YARN (TonY) - 在Apache Hadoop上原生运行TensorFlow的框架TonY TonY 是一个在 Apache Hadoop 上本地运行深度学习作业的框架。 它目前支持 TensorFlow、PyTorch、MXNet 和 Horovod。 TonY 支持将单...
spark web UI端口 4040,18080， 8080页面访问不了
热门推荐
Heitao5200的博客
03-24 2万+
Localhost：4040页面访问不了 是因为history server没开的问题   Spark history Server产生背景  以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio...
Spark 无法打开WebUI界面的解决方法
weixin_44028403的博客
05-14 9965
1.遇到的问题 在chrome浏览器中输入https://master:8080后无法访问此网站。 2. 原因 出现这个问题的原因是：8080端口号被占用了或者你得输入http 不能输入 https 3. 解决方法 端口号重复的解决方法： 进入spark安装目录下的sbin目录 vim ./start-master.sh 找到 if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8001 fi后，修改端口号为8001（
yarn web管理界面
清平乐的技术专栏
08-03 9725
原生Hadoop安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，HDP支持Ambari控制台访问。如下图： 一、集群指标区域 包含如下内容： Apps Submitted：提交的任务数目 Apps Pending：挂起的任务数目 Apps Running：运行的任务数目 Apps Completed：完成的任务数目 Containers Running：正在运行的container数目 Memory/VCores used：使用了整体集群的内存/虚
解决spark无法查看web页面状态
knightjsh的博客
08-27 5485
解决spark无法查看web页面状态 spark-env.sh配置，端口设置为 SPARK_MASTER_PORT=7077 尝试用 http://IP地址:7077打开网址查看状态，发现并不可以打开。 之后查看主机master的日志文件（/root/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out） 仔细查看日志发现，端口似乎发生了变动（在WARN中），具体为什么会这样，希望有大神指点【博主还是小白】。看
Spark on yarn模式配置webUI
liziLove_fengmi的博客
09-01 457
https://www.cnblogs.com/yanshw/p/12038633.html
使用pyspark，在8088界面上，通过查看application，只能看到一个attempt id
05-25
因此，您只能在8088界面上看到一个application的attempt id，因为只有一个ApplicationMaster在运行。如果您想查看更详细的Spark应用程序信息，可以使用Spark自带的Web UI（默认情况下在4040端口）来查看。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值