博客内容描述了在提交Spark应用时遇到的分布式运行问题。问题源于master和worker之间的通信故障，最初由于spark-env.sh配置错误，SPARK_LOCAL_IP设为localhost。尝试修改IP地址，但仍然无法解决问题。接着，作者尝试了更换JDK、安装Hadoop、调整配置等一系列操作，最终通过删除并重新下载、配置Spark解决了问题。此外，提到了默认的内存设置以及如何检查Spark集群状态。
问题描述：
spark-submit后发现程序没有分布式运行
w3m http://localhost:8080
- 发现要用
--master spark://[masterip]:7077命令运行,例如
spark-submit --master spark://masternode:7077 yourapp - 但是仍然不行，出现如下状况
8080 UI显示如下：
原因分析：
master和worker之间通信出了问题，因为用一台机器座位worker和master是可以运行的
仔细看，下图这里出了问题，所以应该是spark-env.sh配置出了问题
在之前的配置中，master和slaves上的spark-env.sh的SPARK_LOCAL_IP都写的localhost。现在所有的的spark-env.s
最低0.47元/天 解锁文章
扫一扫
399
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
