实验任务:
安装Spark
使用Spark Shell
读取本地文件
读取HDFS文件
编写wordcount程序
用Scala编写Spark应用程序
用Java编写Spark应用程序
二、Spark与Scala版本兼容问题:
Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本(2.12.x)。
请注意,自Spark 2.2.0起,对2.6.5之前的Java 7,Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起,对Scala 2.10的支持被删除。自Spark 2.4.1起,对Scala 2.11的支持已被弃用,将在Spark 3.0中删除。
https://spark.apache.org/docs/latest/index.html
三、下载
1、官网下载安装Scala:scala-2.12.8.tgz
https://www.scala-lang.org/download/
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试:scala -version
启动:scala
2、官网下载安装Spark:spark-2.4.2-bin-hadoop2.7.tg
实验七 安装配置Scala和Spark
![](https://img-home.csdnimg.cn/images/20240711042549.png)