本人太蠢,命太差,基本把运行样例中所有的坑都踩了,大家根据下面的多种报错信息自行参考
报错时我使用的环境如下:
- windows10中运行,非linux虚拟机
- 使用微软的Terminal软件进入powershell环境
- scala 2.12.10
- spark-3.1.1-bin-hadoop3.2
- 没有单独安装hadoop环境
- java 8
注意一:该spark-3.1.1-bin-hadoop3.2
在centos 7
、树莓派4b+官方32位系统
均可正常运行样例SparkPi,但唯独在window10中频繁报错
注意二:大家首先要确保自己的路径没有问题,spark-shell
和spark-submit
都是在bin
目录下,而样例sparkPi
是在examples
目录下,所以要先返回到上级目录再进入examples
目录中
注意三:还是路径问题。一定要确保SparkPi
的样例名称是当前版本下的spark
对应的名称。不同的spark
版本有不同的sparkPi
名称。名称一定要完全符合。
参考我的:
注意四:还是路径问题。一定要全英文路径。不论是spark还是hadoop(如果你安装了的话)等,为了确保不是路径问题引起的,所有环境路径均设为纯英文。
注意五:下文中的报错信息是循序渐进的,每次报错都会修改设置 甚至 是增加环境配置
报错1:
运行的命令
在spark-shell
环境中执行:
不论是./spark-submit
:
./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1