Spark开发环境搭建——Spark开发学习笔记（一）

前言：本人水平有限，目前在前辈的指导下进行Spark开发的自学，在此整理出自学笔记，主要是巩固一下学习的内容，如果本文内容能对各位读者有所启发，我将十分高兴。另外由于个人水平有限，所写内容难免有疏漏之处，欢迎各位批评指出。

Spark开发环境搭建

本文的操作环境和安装的版本

• 操作系统：Windows 10 1909版本
• IDE：IntelliJ IDEA Ultimate 2019.2.4版本
• JDK：1.8.0_221
• Hadoop：2.7.1
• Spark：3.0.0-preview
• Scala：2.12.10
• Maven：3.6.2

一、Java环境搭建

安装java环境需要安装部署JDK和JRE，本次选择的JDK版本是1.8。前往官网即可下载，官网链接：JDK下载地址。

我们选择64位Windows版本下载，然后进行安装。

安装完成之后进行系统变量的配置，需要配置如下系统变量。（请根据自己的安装目录进行设置）

• JAVA_HOME：C:\Program Files\Java\jdk1.8.0_221
• CLASSPATH：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
• Path：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

完成之后在命令行分别输入java、javac命令均有相应结果，说明配置正确。

二、安装IDE

本文选用的IDE为JetBrains套件中的IntelliJ IDEA，可以前往JetBrains官网下载安装，具体安装方式不再演示。

三、Hadoop安装

本文下载的Hadoop版本为2.7.1，前往Hadoop镜像网站下载对应的Hadoop包。

在Windows环境下部署Hadoop环境与Linux不同，需要额外的文件，不单单是解压就可以了。额外的文件包括hadoop.dll和winutils.exe，这两个文件可以在4ttty的winutils GitHub项目下找到，复制这两个文件到Hadoop文件夹下的bin目录下。

实际在配置的时候如果只添加上述两个文件还是会导致Spark项目运行报错，说winutils.exe与你运行的Windows版本不兼容；后来我经过大量尝试发现需要把上述的GitHub工程中对应Hadoop版本下的bin文件夹下的全部拷贝到本机上的Hadoop/bin文件夹下才能正常。

完成后配置系统环境变量，如下。（请根据自己的安装目录进行设置）

• HADOOP_HOME：D:\Compilers\hadoop-2.7.1
• Path：%HADOOP_HOME%\bin

四、Spark安装

在Spark官网下载合适版本的Spark，需要注意版本需要契合之前安装的Hadoop版本，本文就选用3.0.0-preview版本。

和Hadoop的安装类似，解压，修改系统环境变量如下。（请根据自己的安装目录进行设置）

• SPARK_HOME：D:\Compilers\spark-3.0.0-preview-bin-hadoop2.7
• Path：%SPARK_HOME%\bin

五、Scala语言安装

前往Scala官方网站选择相应版本的Scala版本进行安装，注意此处安装的版本需要和选用的Spark版本对应的Scala版本相一致才行，例如本文选用的Spark版本为3.0.0-preview（目前最新），其对应的适用Scala版本为2.12.10。

查询这种对应关系可以通过查看Spark中的jar包中的scala-compiler-2.XX.XX.jar，最后面的数字即为对应的Scala版本。本文中的对应jar包为scala-compiler-2.12.10，即Scala版本为2.12.10。

安装过程保持默认即可。

完成后修改系统变量如下。（请根据自己的安装目录进行设置）

• SCALA_HOME：C:\Program Files (x86)\scala
• Path：%SCALA_HOME%\bin

六、安装maven

前往maven官网下载maven的二进制ZIP包，在特定目录解压即可。

七、工程项目环境配置

（一）IDE配置

打开IntelliJ IDEA，第一次使用需要激活、设定UI、选用下载插件，统统默认完成之后打开如下界面。

接下来需要依次设置配置下的Plugins、Structure for New Projects、Settings选项。

首先是Plugins，安装Scala插件，完成后点击OK。

然后设置Structure for New Projects，Project选项卡，点击New按钮，点击JDK选项，选择刚才安装的JDK路径，确认。

Global Libraries选项卡，点击加号，选择Scala SDK，添加刚刚在系统中安装的Scala，点击OK。

最后设置Settings，选择Build, Execution, Deployment下的Build Tools下的Maven选项卡，设置右侧Maven home directory为刚刚maven下载的解压目录&#x