spark3.5.1,搭配环境如下:
- Java 8/11/17
- Scala 2.12/2.13
- Python 3.8+
- R 3.5+
- Spark 3.0开始不再支持Hadoop 2.7,推荐用Hadoop 3.x
- 推荐使用Maven或sbt构建系统
看到知乎上有大佬推荐装spark3.4.2,那就装这个,这里记一下其各个适配版本
- Java 8/11/17
- Python 3.7+ , R 3.5+
大概是这样,我先试试,要是报错,我再来改
这些版本对应,看Apache官方文档,hadoop3.3.6官方文档,要是下载出错,可以选 清华大学镜像,找 apache,找hadoop, 点common,选版本,下载 hadoop-3.x.x.tar.gz,如果这个也慢,可以用阿里云apache镜像
tar.gz是已经编译好的了,解压改改配置文件就能用。src.tar.gz是源码,要编译才能用。