Spark ui界面无法访问

最新推荐文章于 2024-09-02 03:23:17 发布

weixin_30732825

最新推荐文章于 2024-09-02 03:23:17 发布

阅读量1.7k

点赞数

文章标签：大数据 ui 开发工具

原文链接：http://www.cnblogs.com/yaoyu19960106/p/10923680.html

版权

在sbin中的start-master.sh 中更改了UI端口号，但是依然无法访问

后来才知道罪魁祸首是chrome浏览器，我晕！！！！

改成火狐后就能正常访问了，真滴坑

转载于:https://www.cnblogs.com/yaoyu19960106/p/10923680.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30732825

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

如何杜绝 spark history server ui 的未授权访问?

明哥的IT随笔

11-16

1505

如何杜绝 spark history server ui 的未授权访问?

spark 通过client提交job无法打开spark driver ui(500错误)

遥望......

03-02

1894

我们在生产环境常用的提交job模式一般通过web，如livy等restful api方式提交job.或者是通过spark-shell直接提交，对于大部分企业来说，都是在集群之外通过在集群之外的client节点提交job的方式，本人使用的集群环境是aws emr,提交job的方式是第二种，但是在client节点执行spark-shell的时候，通过yarn后台点击job的application ma...

参与评论您还未登录，请先登录后发表或查看评论

spark报错：显示集群成功连接却无法访问WebUI

最新发布

enlin95993的博客

09-02

467

端口号被修改为8081，还可以用scp指令把修改后的spark-defaults.conf发送到两台worker上。注：请根据自己spark的安装目录自行修改代码。搭建spark集群时候显示集群搭建成功。

spark提交任务到odps无法打开spark ui界面

weixin_41998764的博客

12-08

820

问题解决：提交命令加入spark ui等参数： spark-submit --master yarn-cluster \ --conf spark.hadoop.odps.access.id='XXXXXXXX' \ --conf spark.hadoop.odps.access.key='XXXXXXXX' \ --conf spark.hadoop.odps.cupid.history.server.address='XXXXX' \ --conf spark.hadoop.odps.cupid.pr

Spark 无法打开WebUI界面的解决方法

weixin_44028403的博客

05-14

1万+

1.遇到的问题在chrome浏览器中输入https://master:8080后无法访问此网站。 2. 原因出现这个问题的原因是：8080端口号被占用了或者你得输入http 不能输入 https 3. 解决方法端口号重复的解决方法：进入spark安装目录下的sbin目录 vim ./start-master.sh 找到 if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8001 fi后，修改端口号为8001（

生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决 File file:/tmp/spark-events does not

段智华的博客

04-27

4896

生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决这个是个老问题，之前也遇到过，启动start-history-server.sh，报错如下Caused by: java.io.FileNotFoundException: Log directory specified does not exist: file:/tmp/s

Spark UI在虚拟机中可以打开，但是在宿主机上无法访问

日进一步

07-18

1950

场景描述：在笔记本Windows10的VMware Workstation Pro中安装CentOS 7 的VM，并部署了Spark 错误描述：在Centos中可以访问Spark UI，但是在Win10上无法访问。 Win10和Centos可以互相ping通解决方法：先说结果-----原因是VM里防火墙未关闭造成的，执行如下命令关闭防火墙即可 [root@loca

sparkui 界面地址_Spark UI界面原理

weixin_30854435的博客

12-24

1742

当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。参数默认值作用描述spark.ui.enabledtrue是否开启UI界面spark.ui.port4040(顺序探查空闲端口)UI界面的访问端口号spark.ui.ret...

Spark UI界面实现原理

浅汐

04-13

1017

Spark基础（1）——搭建Spark开发环境、UI界面查看spark集群

weixin_54348877的博客

03-24

7102

1.环境前提 1.1已经搭建好hadoop环境 Hadoop环境部署，参考我专栏里Hadoop专栏 1.2我的参考配置环境 Linux系统：CentOS-6.8版本 Hadoop：2.7.4版本 JDK：1.8版本 Spark：2.3.2版本 2.Spark部署 Standalone模式（主从） 2.1下载spark安装包安装包下载网址： Downloads | Apache Spark 标1：现在比较稳定的版本为3.2.1。和支持的Hadoop版本标2、标3：.

spark：SparkUI界面

九师兄

12-09

2066

前言　　在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用

Spark UI如何高效地定位性能问题(上)

2401_84052244的博客

08-01

492

前面我们介绍了基础知识和 Spark SQL 这两个模块的学习，这也就意味着，我们完成了 Spark 入门“三步走”中的前两步，首先恭喜你！在学习的过程中，我们逐渐意识到，Spark Core 与 Spark SQL 作为 Spark 并驾齐驱的执行引擎与优化引擎，承载着所有类型的计算负载，如批处理、流计算、数据分析、机器学习，等等。Spark Core 与 Spark SQL 运行得是否稳定与高效，决定着 Spark 作业或是应用的整体“健康状况”。不过，在日常的开发工作中，我们总会遇到 Spark 应用

spark页面8080端口访问打不开

Knight

03-17

4260

报错原因 Spark端口号和其他应用发生冲突解决方案 vi /export/servers/spark/sbin/start-master.sh 修改端口号分发集群，重启

spark报错——无法访问WebUI

weixin_63507910的博客

04-17

1447

并且spark启动无报错，shell登入正常，唯独无法访问WebUI，通过日志最后发现，并非无法访问WebUI，而是spark在启动中，无法绑定到端口8080，导致spark绑定到其他端口，所以无法通过8080访问WebUI。同时，无法访问WebUI也有很多原因，如进程启动失败等导致，建议读者通过日志记录查找问题，最后通过搜索引擎解决问题。笔者在安装spark，并配置spark高可用后，发现无法访问spark的WebUI，即无法访问。关于进程启动失败，而无法访问WebUI，请看笔者这篇文章。

关于spark ui的端口号，踩到一个浏览器的坑，其实不算一个问题