SPARK

最新推荐文章于 2023-04-17 19:55:28 发布

张晟1996

最新推荐文章于 2023-04-17 19:55:28 发布

阅读量156

点赞数 1

本文链接：https://blog.csdn.net/weixin_44370990/article/details/90601800

版权

本文介绍了Spark与Scala版本的兼容性，详细说明了如何下载并安装Scala和Spark，启动Spark Shell，以及如何使用Spark Shell编写代码进行文件读取和词频统计。此外，还提到了Spark独立应用程序的编写，包括Scala和Java语言，并提供了相关参考资料。

摘要由CSDN通过智能技术生成

一、Spark与Scala版本兼容问题：
Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。
请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删除。自Spark 2.4.1起，对Scala 2.11的支持已被弃用，将在Spark 3.0中删除。
https://spark.apache.org/docs/latest/index.html

二、官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试：scala -version
启动：scala

三、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
https://www.apache.org/dyn/closer.lu