Spark源码环境搭建

提前安装一些开发工具

• Scala 2.10.4
• git 2.8.1
• maven 3.3.9
• IntelliJ IDEA 2015.02

源代码获取和编译

直接从官方的github上拉取代码
$ git clone git@github.com:apache/spark.git

$ git checkout v1.6.0

$ git checkout -b v160

编译源码

参考官方文档，我们这里使用4个线程，跳过tests，以便加快编译速度

$ build/mvn -T 4 -DskipTests clean package

$ spark-shell 测试一下

源码导入和代码运行

找到 example 中的 LocalPi.scala例子

在菜单栏点击Run -> Edit Configuration - 点击+ -> Application 配置如下

然后运行程序，程序会报错

这里的报错是缺少依赖包，解决方法如下：

在菜单栏点击File -> Project Structure -> Modules -> 选择 spark-examples_2.11 -> Dependencies -> 点击+ -> 选择jars or directories

再次运行程序的时候可以看到正常输出