Windows下编译Spark源码

参考：http://www.jianshu.com/p/6ad9dc90b7a5

必须要有下面这几个东西，检查方式如下

Scala: scala -version
SBT: sbt -version
Maven: mvn -version

Git: git --version

通过git获取spark源代码  下面两种方式  二选一

# Master development branch
git clone git://github.com/apache/spark.git

# 1.5 maintenance branch with stability fixes on top of Spark 1.5.2(本文中使用的)
git clone git://github.com/apache/spark.git -b branch-1.5

打开git 转到spark所在目录 

 /d/Documents/IdeaProjects/spark (master)
$ set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

/d/Documents/IdeaProjects/spark (master)
$ mvn -DskipTests clean package

a 导入代码

File-->New-->Project From Existing Source-->选择你自己的Spark目录-->Import project from external model-->Maven ,然后一路Next，耐心等待一切完成。

(根据实际情况选择java7或者8)

在intellij ieda里面： 
- 打开View -> Tool Windows -> Maven Projects 
- 右击Spark Project External Flume Sink 
- 点击Generate Sources and Update Folders 
随后，Intellij IDEA会自动下载Flume Sink相关的包

然后重新build -> Make Project，一切ok!!

Error:scalac:

View-->Tool Windows-->Maven Projects-->Reimport All Maven Projects-->选中出问题的模块-->Lifecycle-->clean-->右键Run Maven Build
然后Ctrl + F9