正常的情况下从spark官方网站下载的发行包已经可以满足正常使用(默认支持了hive),但如果要编译相应cdh版本的hadoop或者把ganglia打包进来等,那就要重新指定编译参数来重新编译源码了。建议最好在linux环境下进行编译。
源码下载
官网下载地址:https://spark.apache.org/downloads.html
注意:源码放置目录最好不要存在中文路径
安装并配置maven
根据官网的说明,通过maven来编译spark1.6.1时对maven的版本是有要求的,需要maven3.3.3+以及java 7+。本次编译使用的是maven3.3.9,jdk1.7
maven下载:http://maven.apache.org/download.cgi
jdk下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载安装maven,jdk以及配置好环境,具体步骤不再详述。
编译打包spark
进行编译前需要设置maven使用内存,否则在编译过程中会内存溢出,如果是linux系统下执行以下命令:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
在windows系统下执行以下命令:
set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m
执行以下命令开始编译相应的CDH版本以及支持Ganglia,hive:
mvn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver -Pyarn -Pspark-ganglia-lgpl -DskipTests -Dmaven.test.skip=true -e clean package
编译过程中可能会因为网络原因导致解决不了包依赖,尝试重新编译,还有就是耐心等候了~~。本次编译还算顺利,期间因为maven版本过低出现过错误,但升级后解决了。
成功后可以在$SPARK_HOME/assembly/target/下看到spark-assembly-1.6.1-hadoop2.6.0-cdh5.4.2.jar
还可以通过以下命令打包生成部署包:
./make-distribution.sh --name 2.6.0-cdh5.4.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver –Pyarn -Pspark-ganglia-lgpl
make-distribution自带编译过程,成功后可以在$SPARK_HOME/下看到spark-1.6.1-bin-2.6.0-cdh5.4.2.tgz