Spark2.1.0源码编译

版权声明:本文为博主原创文章,转载标明出处,谢谢! https://blog.csdn.net/Dax1n/article/details/58198070


1、在Spark官网下载源码,选择source code下载解压即可(也可以git clone spark源码)

2、在环境变量里设置maven内存大小,我本机使用默认大小也通过了,根据实际情况决定。

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

3、官方编译示例:

# Apache Hadoop 2.2.X
./build/mvn -Pyarn -Phadoop-2.2 -DskipTests clean package

# Apache Hadoop 2.3.X
./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package

# Apache Hadoop 2.4.X or 2.5.X
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

# Apache Hadoop 2.6.X
./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

# Apache Hadoop 2.7.X and later
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.0 -DskipTests clean package

# Different versions of HDFS and YARN.
./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Dyarn.version=2.2.0 -DskipTests clean package

4:可以使用dev/make-distribution.sh脚本

make-distribution.sh --name custom-spark --tgz  --mvn ${MAVEN_HOME}/bin/mvn -Phadoop-2.4 -Phive -Phive-thriftserver -Pmesos -Pyarn
其中参数含义分别为:
--name custom-spark //指定压缩包名字

--tgz   //生成部署包
--mvn ${MAVEN_HOME}/bin/mvn   //指定使用自己本地配置的mvn,不指定默认使用spark-source/build下面的mvn

5、最后在Spark-source根目录生成安装包













没有更多推荐了,返回首页