Spark2.2.2+Scala2.11.8+Intellij IDEA安装和开发

最新推荐文章于 2024-08-05 19:33:08 发布

qq_35660280

最新推荐文章于 2024-08-05 19:33:08 发布

阅读量5.9k

点赞数 2

分类专栏：大数据文章标签：大数据 Scala-2.11.8 Spark-2.2.2 IDEA

本文链接：https://blog.csdn.net/qq_35660280/article/details/81911385

版权

本文档详细介绍了如何在Ubuntu系统上安装Spark 2.2.2、Scala 2.11.8以及使用IntelliJ IDEA进行开发。首先，从Apache官网下载Spark并配置环境变量，接着安装Scala，确保Scala版本与Spark中使用的版本一致。然后，讲解如何在IDEA中配置Scala SDK，并创建Spark项目。最后，指导如何打包项目为jar文件，并使用`spark-submit`提交到集群运行。

摘要由CSDN通过智能技术生成

我的这篇博客是参照其他博客，我只是吧其中踩过的一些坑，详细写了一下，可以先看我的博客，然后具体的一些安装可以参照如下博客：

安装spark和scala参照博客：https://blog.csdn.net/quiet_girl/article/details/75585709

配置IDEA参照博客：https://www.jianshu.com/p/a5258f2821fc

一定要先安装好你的spark版本，然后再根据Spark_HOME/jars目录下的scala.xxxx.jar去安装Scala版本，因为在IntelliJIDEA中，需要配置好scala-sdk，然后将程序编译打包成.jar，用spark-submit提交运行，所以要保持scala版本一致。

1.安装Spark2.2.2

1下载安装包

下载地址：http://spark.apache.org/downloads.html

下载版本： spark-2.2.2-bin-hadoop2.7.tgz

然后解压：

acer@acer-Aspire-V3-572G:~/下载/apk$ sudo tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/
acer@acer-Aspire-V3-572G:~/下载/apk$ cd /usr/local
acer@acer-Aspire-V3-572G:~/下载/apk$ mv ./spark-2.2.2-bin-hadoop2.7 ./spark-2.2.2  //修改spark文件名字

解压完成后可以查看你SPARK_HOME/jars目录下scala版本，如下图应该安装scala-2.11.8：