Window10+Spark+IDEA 搭建本地开发环境

本文将简单搭建一个spark的开发环境，如下：

软件下载

1）操作系统：windows10

2） IDEA开发工具以及scala插件（IDEA和插件版本要对应）

1.   IDEA2018.3.5   下载地址 https://www.jetbrains.com/
2.   scala-intellij-bin-2018.3.7.zip  http://plugins.jetbrains.com/plugin/1347-scala/versions

3）scala和Java语言的开发包（spark2.4.0对应的可用版本）：

　　5-1）scala2.11 https://www.scala-lang.org/download/2.11.12.html

　　5-2）JDK1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

4）spark开发包：spark2.4.4 http://spark.apache.org/downloads.html

注意，Spark是用Scala 2.11预先构建的，除了2.4.2版本，它是用Scala 2.12预先构建的。

5）hadoop以及hadoop在window运行的工具包（hadoop和winutils版本要对应）

　　4-1）hadoop2.7.7 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/

　　4-2）winutils2.7.7  https://github.com/cdarlint/winutils

 

IDEA创建Scala项目

1）第一步

第二步