spark初踩坑

单机安装spark 运行 好像本来是件很简单的事,难道我太蠢了。。算了,说说坑。

首先windows用的scala2.13 spark-jar包2.11 编译通过,就没想太多,然后上虚拟机的ubuntu,下载,安装都没问题,配置spark-env.sh也没问题,最后跑程序出现问题,查询定位到scala spark版本不一,ubuntu上spark版本2.11-2.4.3,以为2.11.*的scala都可以,于是window上换了好几种版本,结果编译不过,(用sbt下载的。。)那就先换个spark试试吧,结果到了ubuntu上还是挂,最后仔细观察最开始那个spark版本spark-shell 的输出,看见scala是2.11.12,好吧,那就试试你,
ok,换上你过后,普通程式编译通过,打包jar包不行,最后苦苦查询,直接把spark目录的jars包全部导入,ok!打包成功!ubuntu上scala也换成2.11.12,ok,运行成功!

目前配置
scala:2.11.12,
下载地址:https://www.scala-lang.org/download/2.11.12.html

spark:2.11-2.4.3
下载地址:https://spark.apache.org/downloads.html

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值