配置Spark伪分布式环境的时候,source /etc/profile之后,jps查看进程中只有jps进程,没有Master和Worker进程。造成这种情况的原因就是配置spark-env.sh和/etc/profile文件的时候Spark主节点的IP和Spark本地的IP配置错误。
解决办法:
首先查看linux的ip
输入语句:ifconfig
第一个红框标记的是Spark主节点的IP,第二个红框标记的是Spark本地的IP。
其次,修改配置文件的相关内容。
进入spark安装目录下的conf,修改spark-env.sh文件
cd /opt/spark-1.6.3-bin-hadoop2.6/conf/
vim spark-env.sh
修改如图的两处IP地址为上面ifconfig查出来的IP
修改完成保存退出
修改/etc/profile文件
vim /etc/profile
修改红框内容为查出来的IP地址。如果打开profile文件没有这两行内容,自行加上。
修改完成:source /etc/profile 启动配置
之后再进入sbin目录下启动服务查看jps进程就可以完全启动成功