有时候下载的spark不支持一些应用需要添加一些依赖,需要对spark进行编译。
比如我安装了ganglia集群,但是spark不支持要编译。
前提安装好MAVEN JAVA,我的系统是ubuntu
step1:官网或者GitHub上下载源码
step2:解压源码
step3:设置maven编译时的jvm方法区大小
set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=5120M -XX:ReservedCodeCacheSize=512m
step4:编译
mvn -DskipTests -Pspark-ganglia-lgpl -Phadoop-2.6 -Dhadoop.version=2.6.0 clean package
最后生成源码包目录下生成jar包
step5:生成部署包
./dev/make-distribution.sh --name 2.6.0 --tgz -Phadoop-2.6 -Pspark-ganglia-lgpl