wahcheung’s blog原文地址:http://wahcheung.science/2017/11/13/spark-development-with-intellij-idea/
系统环境
- Windows 10
- jdk1.8
- scala2.11.8
- Intellij IDEA 2017.1.4
- winutil.exe (下载地址: https://github.com/steveloughran/winutils)
- spark-2.2.0-bin-hadoop2.7.tgz (下载地址: http://spark.apache.org/downloads.html)
先安装JDK, Scala 和 Intellij IDEA。某些功能可能较新版本的Intellij IDEA才具备(如本文使用的IDEA-based Scala project),建议升级使用2017.x之后的版本。此外,给JDK和Scala配置好环境变量能避免不少问题,通过下面两个命令检查是否已经配置好环境变量。
java -version
scala -version
注:scala版本需要与spark版本兼容,否则编译报错NoSuchMethodError。官网下载Spark时提示Spark2.0之后是使用Scala2.11编译的,因此选择使用Scala2.11.x。关于各个Spark版本适用的Scala可以到
Spark官方文档目录 查询。该页面下,根据你选择的Spark版本,点击进入对应的目录,然后在副标题 Downloading 那一段查看该Spark版本支持的Scala版本。如下图:
![scala-spark-version](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/scala-spark-version.png)
新建Scala项目
打开IEDA, File → New → Project → Scala → 项目类型选IEDA → Next → 选择Scala SDK位置 → Finish
Scala项目类型那一步选择IDEA,如下图,这个类型在较新版本的Intellij中才有(因此建议升级2017.x之后的版本),感觉比SBT好用很多(SBT要修改配置文件、写入库依赖关系,比较麻烦):
![idea-based-project](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/idea-based-project.png)
新工程命名为SparkDemo。
![new-project](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/new-project.png)
新建立好的工程目录如下图:
![project-structure](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/project-structure.png)
测试程序
在Project的src目录下新建Scala Class(选中src目录,鼠标右键,选择New → Scala Class),类型(kind)选择object,命名为HelloSpark,如下图:
![create-new-scala-object-choose-object-kind](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/create-new-scala-object-choose-object-kind.png)
在新建的HelloSpark.scala
中贴入以下测试代码(统计HelloSpark.scala文件中字母a和字母b的出现次数):
import org.apache.spark.{SparkConf, SparkContext}
object HelloSpark {
def main(args: Array[String]) {
val logFile = "src/HelloSpark.scala"
val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
![scala-spark-code-with-errors](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/scala-spark-code-with-errors.png)
通过上图可以看到,Intellij IDEA检查到了非常多的错误,此时的程序由于缺少Spark相关的jar包而无法编译通过。现在我们给当前这个工程导入Spark相关的jar包。
菜单栏 File → Project Structure → 左侧Project Settings点击选中Libraries → 点击中间的”+”然后选择Java → 选中spark目录下的jars目录 → OK → Apply → OK
![scala-spark-code-without-errors](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/select-library-files.png)
稍等片刻,程序运行所需要的jar包就会导入完毕,再次查看HelloSpark.scala,会发现编辑器中的红色错误提示都消失了。如果继续添加代码,会发现已经有Spark API的智能提示了。
![scala-spark-code-without-errors](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/scala-spark-code-without-errors.png)
现在,已经可以运行这个Scala-Spark程序了。在控制台输出中,你可能会看到这样一个错误:(这个错误并不会导致程序中断,也不会影响正确结果的输出,但程序出现Error很难受,下面有消除这个错误的方法)
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
这是因为HADOOP_HOME
环境变量为空,我们需要添加HADOOP_HOME
环境变量。
下载 winutil.exe (下载地址: https://github.com/steveloughran/winutils)
将 winutil.exe 放置于路径 D:\winutil\bin\winutil.exe
下。
在系统环境变量添加HADOOP_HOME变量,路径值设置为 D:\winutil
在系统Path环境变量中添加;%HADOOP_HOME%\bin
(分号“;”是为了与Path中已有的路径分隔)
重启系统让环境变量刷新,再次运行程序就不会再出现上面的错误了。
如果运行程序时还出现了以下错误,
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1749)
at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:68)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:55)
at HelloSpark$.main(HelloSpark.scala:10)
at HelloSpark.main(HelloSpark.scala)
Process finished with exit code 1
这是Scala与Spark版本不对应导致的,到 Spark官方文档目录 查看与所使用的Spark版本对应的Scala版本,安装相应的Scala版本。
修正所有错误之后,观察输出,可以看到一行:
Lines with a: 10, Lines with b: 3
程序没有因为异常而中断的话,Windows下Spark开发环境搭建成功。
生成jar包
在开发环境中把spark scala代码写好后需要把程序部署到服务器,这时候需要打包程序。打包过程如下:
菜单栏 File → Project Structure, 然后根据下图操作:步骤3中点击“+”,选择“JAR”,右侧展开栏选择“From modules with dependencies”
![project-structure-create-jar-from-modules](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/project-structure-create-jar-from-modules.png)
菜单栏 Build → Build Artifacts → Build
稍等片刻,编译通过后,Intellij IDEA底部会出现“Compilation completed successfully in *s *ms”的提示。
观察工程目录,会发现已经生成了HelloSpark.jar
,如下图所示:
![generate-jar](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/generate-jar.png)
嗯,如果现在把程序部署到服务器,你会发现这个HelloSpark.jar包出乎意料的大,约200MB…这是因为编译的时候IEDA把Spark和Scala的相关库也打包了,因为服务器上已经安装了Scala并且搭建好了Spark运行环境,因此我们并不需要将Spark和Scala相关的库打包进目标程序的jar包。
再次打开Project Structure作最后的修改:
菜单栏 File → Project Structure → Artifacts,界面如下:
![generate-jar](http://oxgh657qz.bkt.clouddn.com/spark-development-with-intellij-idea/remove-spark-scala-jars.png)
选中那些Spark和Scala相关的jar包,点击中间上方的“-”按钮将其删除,然后点击右下角的“Apply”使修改生效。
最后,菜单栏 Build → Build Artifacts → Rebuild
再次查看生成的HelloSpark.jar的文件大小,大约只有几KB,大功告成。