Intelij IDEA配置Scala与Spark开发环境

开发环境

IDE:Intelij IDEA 2020.3.2
OS:win10
Spark:3.0.0
Scala:2.12.11

安装Scala插件

需要新建Maven项目，如果有不太清楚的同学请参考我以前的博客（点击可看）
首先需要在idea中安装插件，由于不挂梯子会导致网速贼慢，所以我们选取本地安装，资源已上传，具体安装步骤如下：

安装本地（win10）Scala开发环境

首先需要确认所开发Spark与Scala的版本兼容问题，Spark3.0.0所匹配的Scala版本为2.12.x(我选择的是2.12.11)
然后在官网下载msi文件（点击可看）

下载好后点击安装就会自动安装并且配置好环境变量。

IDEA添加Scala环境

在此之前一定要保证IDE安装了Scala插件，不然idea无法识别本地SDK

安装Scala插件后IDEA会自动识别环境变量中的SDK

然后给指定的项目添加Scala支持即可

Hello Spark！

新建一个SDK类即可编写Scala程序

以上，Scala开发环境已完成，以下配置Spark开发环境

在porn.xml文件中直接写入以下配置：

<dependencies>
 	<dependency>
 		<groupId>org.apache.spark</groupId>
 		<artifactId>spark-core_2.12</artifactId>
 		<version>3.0.0</version>
 	</dependency>
</dependencies>

等待build完成后可以新建一个项目测试

此时成功导入相关依赖并运行