Spark源码编译1.0.1

1. scala_home= /path/2.10.3

2. JAVA_HOME=/path/to/java

3. 获取代码

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.1.tgz

tar zxvf spark-1.0.1.tgz

4. 编译在hadoop2.2.0环境下

mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

但是 网络有问题有些pom总下不下来

5. 用sbt编译（需要加代理）

SPARK_HADOOP_VERSION=2.2.0  \
SPARK_YARN=true sbt/sbt assembly

6.用 ./make-distribution.sh可以成功但是是 hadoop1.0的jar