如果spark-env 配置好了,一般是master防火墙没关闭。
#centos8查看防火墙状态
systemctl status firewalld.service
#开启防火墙
systemctl start firewalld.service
#关闭防火墙
systemctl stop firewalld.service
#禁用防火墙
systemctl disable firewalld.service
=====================================================
Work启动,但Http中没有Worker节点:说明Slave节点与Master的通讯出现问题,或Slave节点无法向Master注册,导致虽然Woker启动但不能在Master中找到。
搜了一堆,被这个问题折磨了一天,总结一下主要是下面几个解决办法
1. spark-env.sh 文件中需要显式地设置一些环境变量,不用系统默认值
参考:https://blog.csdn.net/qq1187239259/article/details/79489800?utm_source=blogxgwz2
2. spark-env.sh文件中有关master节点的信息写32位IP地址,不要写机器别名
参考:https://blog.csdn.net/u014204541/article/details/80775656
3. 关闭防火墙
4 . 更改启动方式
参考:https://blog.csdn.net/ybdesire/article/details/70666544
5. 主机名称不一致
参考:https://blog.csdn.net/ningyanggege/article/details/86655419
6. 重新加载一下spark-env.sh!!!!!???
日他妈,折磨我一天之后,终于死心了,重头做了一遍 + source spark-env.sh,也不知道是哪个起了作用,反正是终于解决了
啊哈哈哈哈哈