编译spark1.6.1源码

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/czmacd/article/details/52957634

正常的情况下从spark官方网站下载的发行包已经可以满足正常使用(默认支持了hive),但如果要编译相应cdh版本的hadoop或者把ganglia打包进来等,那就要重新指定编译参数来重新编译源码了。建议最好在linux环境下进行编译。

源码下载

官网下载地址:https://spark.apache.org/downloads.html

这里写图片描述

注意:源码放置目录最好不要存在中文路径

安装并配置maven

根据官网的说明,通过maven来编译spark1.6.1时对maven的版本是有要求的,需要maven3.3.3+以及java 7+。本次编译使用的是maven3.3.9,jdk1.7

maven下载:http://maven.apache.org/download.cgi

jdk下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载安装maven,jdk以及配置好环境,具体步骤不再详述。

编译打包spark

进行编译前需要设置maven使用内存,否则在编译过程中会内存溢出,如果是linux系统下执行以下命令:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

在windows系统下执行以下命令:

set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

执行以下命令开始编译相应的CDH版本以及支持Ganglia,hive:

mvn  -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver -Pyarn -Pspark-ganglia-lgpl -DskipTests -Dmaven.test.skip=true -e clean package

编译过程中可能会因为网络原因导致解决不了包依赖,尝试重新编译,还有就是耐心等候了~~。本次编译还算顺利,期间因为maven版本过低出现过错误,但升级后解决了。

成功后可以在$SPARK_HOME/assembly/target/下看到spark-assembly-1.6.1-hadoop2.6.0-cdh5.4.2.jar

还可以通过以下命令打包生成部署包:

./make-distribution.sh --name 2.6.0-cdh5.4.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver –Pyarn -Pspark-ganglia-lgpl

make-distribution自带编译过程,成功后可以在$SPARK_HOME/下看到spark-1.6.1-bin-2.6.0-cdh5.4.2.tgz

参考

https://spark.apache.org/docs/latest/building-spark.html

展开阅读全文

没有更多推荐了,返回首页