本文详细介绍了Spark的版本兼容性，如何在Linux环境下下载安装Scala和Spark，启动Spark Shell，以及使用Spark Shell进行简单编程，如读取文件并进行词频统计。同时分享了多个Spark学习资源链接。
一、兼容问题
Spark与Scala版本兼容问题：
Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。
请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删除。自Spark 2.4.1起，对Scala 2.11的支持已被弃用，将在Spark 3.0中删除。
https://spark.apache.org/docs/latest/index.html
二、下载安装Scala和Spark
1、Scala的下载安装
Scala官网：https://www.scala-lang.org/download/
传输到Linux中进行安装
解压安装：
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试：
scala -version
启动：
scala
2、Spark的下载安装
Spark官网：
最低0.47元/天 解锁文章
扫一扫
305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
