spark web UI端口 4040,18080, 8080页面访问不了

spark 专栏收录该内容
21 篇文章 0 订阅

 

ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

启动命令:

在主节点spark_home/sbin

./start-history-server.sh

注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的

ip:18080无法访问时spark history server未启动

spark history server可以查看所有的运行完成的spark任务的详情

Spark History Server配置

修改spark-env.sh

 

spark.eventLog.enabled true

spark.eventLog.dir hdfs://master:9000/spark-logs

spark.eventLog.compress true

 

2、在HDFS中建立存放目录。

hdfs dfs -mkdir /spark-logs

之后的历史记录都会被存放到这里。

3、配置spark-env.sh文件。

在之前的配置项后面

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

属性说明

(1) spark.history.ui.port

WebUI的端口号。默认为18080,也可以自行设置。

(2) spark.history.retainedApplications

设置缓存Cache中保存的应用程序历史记录的个数,默认50,如果超过这个值,旧的将被删除。

注:缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取,速度稍有差别。

(3) spark.history.fs.logDirectory

存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

启动

 

[root@master sbin]# ./start-history-server.sh 

如果提示文件目录无效,可以直接使用下面的命令指定目录:

[root@master sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

启动后的效果如下(此时尚未运行程序,没有记录显示出来):

master:可以改为对应的机器ip

显示效果

如果无任务运行4040端口无法访问。

  • 1
    点赞
  • 2
    评论
  • 4
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值