saprk版本要求

spark官方网址
spark下载地址
官方文档列表

spark3.5.1,搭配环境如下:

  1. Java 8/11/17
  2. Scala 2.12/2.13
  3. Python 3.8+
  4. R 3.5+
  5. Spark 3.0开始不再支持Hadoop 2.7,推荐用Hadoop 3.x
  6. 推荐使用Maven或sbt构建系统

看到知乎上有大佬推荐装spark3.4.2,那就装这个,这里记一下其各个适配版本

  1. Java 8/11/17
  2. Python 3.7+ , R 3.5+

大概是这样,我先试试,要是报错,我再来改

这些版本对应,看Apache官方文档,hadoop3.3.6官方文档,要是下载出错,可以选 清华大学镜像,找 apache,找hadoop, 点common,选版本,下载 hadoop-3.x.x.tar.gz,如果这个也慢,可以用阿里云apache镜像

tar.gz是已经编译好的了,解压改改配置文件就能用。src.tar.gz是源码,要编译才能用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

俺要工作俺想工作

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值