Spark源码编译

编译前

Spark源码编译可以参考官方文档：http://spark.apache.org/docs/latest/building-spark.html
里面讲了用maven还有SBT编译的方法。

编译前要先下载源码，两种方式：

1. 直接到官网下载源码

   官网：http://spark.apache.org/downloads.html

   如图如示
   

2. 使用git下载源码

   下载地址：https://github.com/apache/spark

   

   先进入要放置的目录里再使用命令
   git clone https://github.com/apache/spark.git
   就会放源码下到这个目录了。

maven编译

http://spark.apache.org/

编译前先要纺maven更大的内存

export MAVEN_OPTS=”-Xmx2g -XX:ReservedCodeCacheSize=512m”

查看官方文档，找到

进入源码目录下没找到这命令：make-distribution.sh
从图中
./dev/make-distribution.sh –name custom-spark –tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn
可以看出是在dev目录下。

在安装maven和java的前提下，修改/make-distribution.sh 里的MVN地址，修改成自己的maven安装目录，然后输入命令
./dev/make-distribution.sh –name spark-1.6.2.tgz –tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

(未完待续)

SBT编译