Maven编译Spark源码总结

1 通过Git下载Spark源码

git clone https://github.com/apache/spark.git

2 切换Spark源码分支

git branch -a

 git checkout v1.6.3

（或者直接下载对应分支的Spark源代码），确保要有make-distribution.sh文件

3 修改 make-distribution.sh 文件

MVN="/home/hjr/Maven/apache-maven-3.3.9/bin/mvn" 
或   
MVN="$MAVEN_HOME/bin/mvn"

将项目编译所要使用的Maven设置为自己安装的Maven路径

4 确保Java和Scala已安装

最好是查询一下软件的版本对应

5 修改Spark源码工程的 pom.xml 文件

<name>Maven Repository</name>

      <!--<url>https://repo1.maven.org/maven2</url>-->
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

       <releases>
         <enabled>true</enabled>
       </releases>

将Maven Repository换成国内阿里云的仓库

6 编译

build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.5 -DskipTests clean package

另附其他版本的编译

Spark 2.2.0 编译成功

7 将编译好的源码导入到IDEA里面