1.下载源码包,本文一spark 1.6.3(其他相似)
http://spark.apache.org
2.解压文件
修改pom.xml 添加cdh支持(非cdh,可以忽略)
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
需要对scala 2.11 支持(如果scala 是scala 2.11.x,但spark是1.6.x 以2.10.6 编译的,如果scala版本是2.11.x需要使用以下命令(2.10.x compiled spark-1.6.x or previous by default )
1.编译过程很长,因各种各样原因中断,只需重新执行上述命令
2.编译scala 2.11 报错如下: scala2.11 代替2.10.x 支持spark-1.6.3
+ unset GITREV
++ command -v /home/spark/soft/spark/spark-1.6.3/build/mvn
+ '[' '!' /home/spark/soft/spark/spark-1.6.3/build/mvn ']'
++ /home/spark/soft/spark/spark-1.6.3/build/mvn help:evaluate -Dexpression=project.version -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Phive -Dscala-2.11 -DskipTests package
++ grep -v INFO
++ tail -n 1
+ VERSION='[ERROR] mvn <goals> -rf :spark-test-tags_2.10'
执行下面语句
./dev/change-scala-version.sh 2.11
4.编译完成后,进入目录找到
spark-1.6.3-bin-2.6.0-ch5.7.0.tgz 既可以解压安装
http://spark.apache.org
2.解压文件
tar xzvf spark.tgz
修改pom.xml 添加cdh支持(非cdh,可以忽略)
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
进入到解压目录进行执行以下目录
需要对scala 2.11 支持(如果scala 是scala 2.11.x,但spark是1.6.x 以2.10.6 编译的,如果scala版本是2.11.x需要使用以下命令(2.10.x compiled spark-1.6.x or previous by default )
./dev/change-scala-version.sh 2.11
执行编译
./make-distribution --name 2.6.0-cdh5.6.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dscala-2.11 -Dhadoop.version=2.6.0-cdh5.6.01.编译过程很长,因各种各样原因中断,只需重新执行上述命令
2.编译scala 2.11 报错如下: scala2.11 代替2.10.x 支持spark-1.6.3
+ unset GITREV
++ command -v /home/spark/soft/spark/spark-1.6.3/build/mvn
+ '[' '!' /home/spark/soft/spark/spark-1.6.3/build/mvn ']'
++ /home/spark/soft/spark/spark-1.6.3/build/mvn help:evaluate -Dexpression=project.version -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Phive -Dscala-2.11 -DskipTests package
++ grep -v INFO
++ tail -n 1
+ VERSION='[ERROR] mvn <goals> -rf :spark-test-tags_2.10'
执行下面语句
./dev/change-scala-version.sh 2.11
4.编译完成后,进入目录找到
spark-1.6.3-bin-2.6.0-ch5.7.0.tgz 既可以解压安装