spark报错：显示集群成功连接却无法访问WebUI

搭建spark集群时候显示集群搭建成功

jps查看三台机子都有显示Master或Worker但是访问webUI时候报错：

解决方法：spark默认端口是8080，笔者是因为忽略了8080端口被java占用，故无法启动，先查看8080端口是否被占用:

lsof -i:8080

很明显被java占用，笔者选择修改spark端口号避免：

[root@hadoop2 /]cd /opt/spark-3.4.3/conf/
[root@hadoop2 conf]ll
总用量 48
-rw-r--r--. 1 master master 1105 8月  27 14:56 fairscheduler.xml.template
-rw-r--r--. 1 master master 3350 8月  27 14:56 log4j2.properties.template
-rw-r--r--. 1 master master 9141 8月  27 14:56 metrics.properties.template
-rw-r--r--. 1 master master 1292 8月  27 14:56 spark-defaults.conf.template
-rwxr-xr-x. 1 root   root   4807 9月   2 02:51 spark-env.sh
-rwxr-xr-x. 1 master master 4694 4月  15 09:28 spark-env.sh.template
-rw-r--r--. 1 root   root    872 9月   2 02:47 workers
-rw-r--r--. 1 master master  865 4月  15 09:28 workers.template
[root@hadoop2 conf]mv spark-defaults.conf.template spark-defaults.conf
[root@hadoop2 conf]vim spark-defaults.conf 

这里先检查一下我们要修改的 spark-defaults.conf 文件是否存在，若只有spark-defaults.conf.template，就用mv指令一行修改文件名，若存在直接vim进行编辑，只需要在最后一行加入：

spark.ui.port 8081

端口号被修改为8081，还可以用scp指令把修改后的spark-defaults.conf发送到两台worker上

scp -r spark-defaults.conf hadoop1:/opt/spark-3.4.3/conf/

访问web成功： 

注：请根据自己spark的安装目录自行修改代码