Spark2.1.2编译支持cdh5.10.2

环境配置	值
操作系统	Centos6.5
位数	64位
JDK	1.8.0.65
Scala	2.12.4
Hadoop	2.6.0-cdh5.10.2
Spark	2.1.2

第一步：从Spark官网下载Spark源码

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.1.2/spark-2.1.2.tgz

第二步：JDK、Scala、Hadoop安装配置好

第三步：配置Maven

略

第四步：增大Maven使用的内存

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

第五步：添加执行权限并解压

# 添加执行权限
chmod u+x spark-2.1.2.tgz

# 解压
tar -zxf spark-2.1.2.tgz -C .

第六步：

vim dev/make-distribution.sh

#  修改以下内容
VERSION=2.1.2
SCALA_VERSION=2.12.4
SPARK_HADOOP_VERSION=2.6.0-cdh5.10.2
SPARK_HIVE=1

第七步：修改pom.xml添加国内源和Cloudera源

cd ${SPARK_HOME}

vim pom.xml

# 在repositories标签下添加以下阿里云源和Cloudera源

第八步：关闭所有Hadoop服务

第九步：执行编译命令

cd dev

./make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.10.2 -Phive -Phive-thriftserver -Pyarn

注意一定要在make-distribution.sh所在所在的目录执行，不能在Spark的根目录执行
编译成功的界面：