windows下编译spark的源码

1.maven的安装
到maven官网下载maven,maven依赖于jdk，所以先确保以安装jdk( http://maven.apache.org/download.cgi )

解压到一个目录下，我选择的是D:\learning_soft\maven
然后配置环境变量
%M2_HOME%=D:\learning_soft\maven\apache-maven-3.3.9
添加到path路径 %M2_HOME%bin

验证安装成功

修改maven的内存配置
在mvn.cmd或者mvn.bat中找到：

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000  

在其后添加

-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m  

2.spark编译
到spark官网下载spark的源码，这里选择的spark-1.3.1
,解压文件后，修改pom.xml文件

<java.version>1.7</java.version>
<hadoop.version>2.4.1</hadoop.version>
<protobuf.version>2.5.0</protobuf.version>
<hbase.version>0.98.9-hadoop2</hbase.version>
<zookeeper.version>3.4.6</zookeeper.version>
<derby.version>10.11.1.1</derby.version>

主要是指定hadoop，hbase的版本

然后在将目录切换到spark的目录下

输入

mvn -Pyarn -Dhadoop.version=2.4.1 -Dyarn.version=2.4.1 -DskipTests clean package  

遇到的问题

reference
1.http://jingyan.baidu.com/article/1709ad808ad49f4634c4f00d.html
2.http://www.aboutyun.com/thread-11746-1-1.html
3.http://blog.csdn.net/javastart/article/details/44558997