参考官方文档:http://spark.apache.org/docs/latest/building-spark.html
Spark2.2+移除了对hadoop2.5的支持!!!
一、 Spark-2.1.2 编译环境准备
1、hadoop-2.5.0-cdh5.3.6
2、安装并配置好Maven(本次编译使用apache maven 3.3.9)
3、 安装并配置JDK(本次编译使用jdk1.8)
4、 安装并配置Scala(本次使用scala-2.10.4)
下载spark源码 spark-2.1.2.tgz–>http://spark.apache.org/downloads.html
5、spark源码编译,按照官网来(编译spark要内存够大,1g根本后面会出现各种问题)
vi /etc/profile
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
二、编译过程
(1)由于本次编译的是CDH版本,在spark-2.1.0/pom.xml文件添加编译所需的cloudera软件包依赖。【注意:添加的位置】
<repository>
<id>cloudera-repo</id>
<name