spark 运行自带样例SparkPi、spark-examples报错

在Windows10上运行Spark Pi样例时遇到多个错误,包括命令执行错误、jar包名称不正确、缺少Hadoop环境等问题。解决方法包括:在PowerShell而非spark-shell中执行命令,修正jar包名称,安装匹配版本的Hadoop并配置环境变量,下载winutils.exe放到Hadoop的bin目录下。遵循这些步骤,最终成功运行Spark Pi并得到结果。
摘要由CSDN通过智能技术生成

本人太蠢,命太差,基本把运行样例中所有的坑都踩了,大家根据下面的多种报错信息自行参考

报错时我使用的环境如下:

  • windows10中运行,linux虚拟机
  • 使用微软的Terminal软件进入powershell环境
  • scala 2.12.10
  • spark-3.1.1-bin-hadoop3.2
  • 没有单独安装hadoop环境
  • java 8

注意一:该spark-3.1.1-bin-hadoop3.2centos 7树莓派4b+官方32位系统均可正常运行样例SparkPi,但唯独在window10中频繁报错

注意二:大家首先要确保自己的路径没有问题,spark-shellspark-submit都是在bin目录下,而样例sparkPi是在examples目录下,所以要先返回到上级目录再进入examples目录中

注意三:还是路径问题。一定要确保SparkPi的样例名称是当前版本下的spark对应的名称。不同的spark版本有不同的sparkPi名称。名称一定要完全符合。
参考我的:
在这里插入图片描述
注意四:还是路径问题。一定要全英文路径。不论是spark还是hadoop(如果你安装了的话)等,为了确保不是路径问题引起的,所有环境路径均设为纯英文。

注意五:下文中的报错信息是循序渐进的,每次报错都会修改设置 甚至 是增加环境配置

报错1:

运行的命令

spark-shell环境中执行:
不论是./spark-submit

 ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1
  • 4
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值