项目场景:
因为在虚拟机的Ubuntu学习中要用使用spark,但我在spark安装和使用中出现了启动失败 的问题,以下是解决方法。
问题描述
启动spark,由于之前已经配置了环境变量,所以这里直接使用以下代码启动:
spark−shell
然后在ubuntu中启动spark时出现以下错误:
原因分析:
这里是 spark 的本地 IP 地址未绑定导致的警告,其中 using 192.168.73.85 instead (on interface wlo1) 其中的 192.168.73.85 就是 spark 默认选择的本地 IP 地址,这里需要我们记住自己的这个 IP 地址
(你的电脑上输出的ip地址,不是我的!) |
解决方案:
修改配置文件,配置 SPARK_LOCAL_IP 变量即可:
cd /usr/local/spark #你自己的spark目录
sudo vim conf/spark-env.sh
添加内容如下:
export SPARK_LOCAL_IP=192.168.73.85 #注意一定要是你们自己输出对应的IP
键入 ESC 键,:wq,保存并退出。重新启动 spark-shell:
/usr/local/spark/bin/spark-shell
然后发现报错不见了,代表问题已解决:
简单使用:
接下来可以在spark shell中简单执行一下命令试试能否运行:
这样spark就代表可以正常使用了。