Windows系统中搭建Spark开发环境

wahcheung’s blog原文地址：http://wahcheung.science/2017/11/13/spark-development-with-intellij-idea/

系统环境

• Windows 10
• jdk1.8
• scala2.11.8
• Intellij IDEA 2017.1.4
• winutil.exe (下载地址: https://github.com/steveloughran/winutils)
• spark-2.2.0-bin-hadoop2.7.tgz (下载地址: http://spark.apache.org/downloads.html)

先安装JDK, Scala 和 Intellij IDEA。某些功能可能较新版本的Intellij IDEA才具备(如本文使用的IDEA-based Scala project)，建议升级使用2017.x之后的版本。此外，给JDK和Scala配置好环境变量能避免不少问题，通过下面两个命令检查是否已经配置好环境变量。

java -version

scala -version

注：scala版本需要与spark版本兼容，否则编译报错NoSuchMethodError。官网下载Spark时提示Spark2.0之后是使用Scala2.11编译的，因此选择使用Scala2.11.x。关于各个Spark版本适用的Scala可以到
Spark官方文档目录 查询。该页面下，根据你选择的Spark版本，点击进入对应的目录，然后在副标题 Downloading 那一段查看该Spark版本支持的Scala版本。如下图：

新建Scala项目

打开IEDA, File → New → Project → Scala → 项目类型选IEDA → Next → 选择Scala SDK位置 → Finish
Scala项目类型那一步选择IDEA，如下图，这个类型在较新版本的Intellij中才有（因此建议升级2017.x之后的版本），感觉比SBT好用很多（SBT要修改配置文件、写入库依赖关系，比较麻烦）：

新工程命名为SparkDemo。

新建立好的工程目录如下图：

测试程序

在Project的src目录下新建Scala Class（选中src目录，鼠标右键，选择New → Scala Class），类型(kind)选择object，命名为HelloSpark，如下图：

在新建的HelloSpark.scala中贴入以下测试代码（统计HelloSpark.scala文件中字母a和字母b的出现次数）：

import org.apache.spark.{SparkConf, SparkContext}

object HelloSpark {
  def main(args: Array[String]) {
    val logFile = "src/HelloSpark.scala"
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}

通过上图可以看到，Intellij IDEA检查到了非常多的错误，此时的程序由于缺少Spark相关的jar包而无法编译通过。现在我们给当前这个工程导入Spark相关的jar包。
菜单栏 File → Project Structure → 左侧Project Settings点击选中Libraries → 点击中间的”+”然后选择Java → 选中spark目录下的jars目录 → OK → Apply → OK

稍等片刻，程序运行所需要的jar包就会导入完毕，再次查看HelloSpark.scala，会发现编辑器中的红色错误提示都消失了。如果继续添加代码，会发现已经有Spark API的智能提示了。

现在，已经可以运行这个Scala-Spark程序了。在控制台输出中，你可能会看到这样一个错误：(这个错误并不会导致程序中断，也不会影响正确结果的输出，但程序出现Error很难受，下面有消除这个错误的方法)

ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

这是因为HADOOP_HOME环境变量为空，我们需要添加HADOOP_HOME环境变量。
下载 winutil.exe (下载地址: https://github.com/steveloughran/winutils)
将 winutil.exe 放置于路径 D:\winutil\bin\winutil.exe 下。
在系统环境变量添加HADOOP_HOME变量，路径值设置为 D:\winutil
在系统Path环境变量中添加;%HADOOP_HOME%\bin（分号“;”是为了与Path中已有的路径分隔）
重启系统让环境变量刷新，再次运行程序就不会再出现上面的错误了。
如果运行程序时还出现了以下错误，

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
    at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1749)
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:68)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:55)
    at HelloSpark$.main(HelloSpark.scala:10)
    at HelloSpark.main(HelloSpark.scala)

Process finished with exit code 1

这是Scala与Spark版本不对应导致的，到 Spark官方文档目录 查看与所使用的Spark版本对应的Scala版本，安装相应的Scala版本。
修正所有错误之后，观察输出，可以看到一行：

Lines with a: 10, Lines with b: 3

程序没有因为异常而中断的话，Windows下Spark开发环境搭建成功。

生成jar包

在开发环境中把spark scala代码写好后需要把程序部署到服务器，这时候需要打包程序。打包过程如下：
菜单栏 File → Project Structure, 然后根据下图操作：步骤3中点击“+”，选择“JAR”，右侧展开栏选择“From modules with dependencies”

菜单栏 Build → Build Artifacts → Build
稍等片刻，编译通过后，Intellij IDEA底部会出现“Compilation completed successfully in *s *ms”的提示。
观察工程目录，会发现已经生成了HelloSpark.jar，如下图所示：

嗯，如果现在把程序部署到服务器，你会发现这个HelloSpark.jar包出乎意料的大，约200MB…这是因为编译的时候IEDA把Spark和Scala的相关库也打包了，因为服务器上已经安装了Scala并且搭建好了Spark运行环境，因此我们并不需要将Spark和Scala相关的库打包进目标程序的jar包。
再次打开Project Structure作最后的修改：
菜单栏 File → Project Structure → Artifacts，界面如下：

选中那些Spark和Scala相关的jar包，点击中间上方的“-”按钮将其删除，然后点击右下角的“Apply”使修改生效。
最后，菜单栏 Build → Build Artifacts → Rebuild
再次查看生成的HelloSpark.jar的文件大小，大约只有几KB，大功告成。