本人太蠢,命太差,基本把运行样例中所有的坑都踩了,大家根据下面的多种报错信息自行参考
报错时我使用的环境如下:
- windows10中运行,非linux虚拟机
- 使用微软的Terminal软件进入powershell环境
- scala 2.12.10
- spark-3.1.1-bin-hadoop3.2
- 没有单独安装hadoop环境
- java 8
注意一:该spark-3.1.1-bin-hadoop3.2在centos 7、树莓派4b+官方32位系统均可正常运行样例SparkPi,但唯独在window10中频繁报错
注意二:大家首先要确保自己的路径没有问题,spark-shell和spark-submit都是在bin目录下,而样例sparkPi是在examples目录下,所以要先返回到上级目录再进入examples目录中
注意三:还是路径问题。一定要确保SparkPi的样例名称是当前版本下的spark对应的名称。不同的spark版本有不同的sparkPi名称。名称一定要完全符合。
参考我的:

注意四:还是路径问题。一定要全英文路径。不论是spark还是hadoop(如果你安装了的话)等,为了确保不是路径问题引起的,所有环境路径均设为纯英文。
注意五:下文中的报错信息是循序渐进的,每次报错都会修改设置 甚至 是增加环境配置
报错1:
运行的命令
在spark-shell环境中执行:
不论是./spark-submit:
./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1

在Windows10上运行Spark Pi样例时遇到多个错误,包括命令执行错误、jar包名称不正确、缺少Hadoop环境等问题。解决方法包括:在PowerShell而非spark-shell中执行命令,修正jar包名称,安装匹配版本的Hadoop并配置环境变量,下载winutils.exe放到Hadoop的bin目录下。遵循这些步骤,最终成功运行Spark Pi并得到结果。
最低0.47元/天 解锁文章
534

被折叠的 条评论
为什么被折叠?



