源码
将项目源码clone源码到本地
项目地址:https://github.com/apache/spark
git clone git@github.com:apache/spark.git
编译
spark项目同时支持maven和sbt两种方式,以maven为例:
最简单的编译:
./build/mvn -DskipTests clean package
使用 -D 和 -P参数定制不同的编译版本:
# Apache Hadoop 2.6.X
./build/mvn -Pyarn -DskipTests clean package
# Apache Hadoop 2.7.X and later
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dskip