在IDEA中搭建spark开发环境（超详细版）【1/2】

一、下载需要的软件及其jdk(我选择的版本是jdk1.8，建议不要使用太高版本，不然配置pom.xml容易报错。

1、下载IDEA和jdk.

spark-3.3.2-bin-hadoop3.tgz

scala-2.12.0.msi

hadoop-3.3.1.tar.gz

IDEA下载位置：IntelliJ IDEA – 专业 Java 和 Kotlin 开发 IDE

JDK1.8下载位置：https://www.oracle.com/

下载位置：spark-3.3.2-bin-hadoop3.tgz

下载位置：scala-2.12.0.msi

下载位置：hadoop-3.3.1.tar.gz（这里也可以选择3.3.6版本）

二、安装

1、IDEA（IntelliJ IDEA 2024.3）安装，B站上有，这里不多解释

2、JDK安装：第一步，在C盘新建文件夹 “java”，第二步，找到下载好的JDK程序 “双击” 安装。在安装过程中，选择安装到创建好的文件夹 “java”.

第三步，JDK环境变量配置。

右击 “此电脑”：

双击 "path"

最后一直点确定。

3、spark-3.3.2-bin-hadoop3.tgz安装

配置环境变量：

4、scala-2.12.0.msi 安装

安装过程中选择一个空的文件夹位置：例如“D盘下的 “scala”文件夹

配置环境变量：

5、hadoop-3.3.1.tar.gz 安装

复制的地址放到系统环境变量中 “path”中

到这里前期工作已经完成。接下来在IDEA中创建spark工程。 

打开IDEA：点击新建项目

 

 

 

 

最后一步测试：