Spark集群启动时worker节点启不起来
spark集群中使用命令:
- 注意:到spark安装文件夹下的sbin文件夹下启动
- 命令:./start-all.sh
启动集群时报错:
分析日志:
- JAVA_HOME is not set (没有设置java的环境变量)
- 首先先检查一下自己的java环境变量配置了没(一般到spark集群这个步骤都配置了)
- 检查当前用户下的java环境是正常的,经分析寻找资料在这个博客中找到了 原理
解决方法:
在当前用户的.bashrc文件中加入java的环境变量
vim ~/.bashrc
加入java环境变量
export JAVA_HOME=你的java安装路径
然后重新启动spark集群
此时你再看启动的服务 发现worker就启动了,问题也就解决了