Spark 2.2源码编译 & 支持hadoop-2.6.0-cdh5.7.0

JDK & Maven & Scala & Git软件安装 & 前置准备

Spark 2.2.0源码的下载地址：
https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0.tgz

编译Spark源码的文档(参考官方文档)：
http://spark.apache.org/docs/latest/building-spark.html

编译Spark源码的前置要求：
Maven 3.3.9 or newer
Java 8+
Scala
Git(后文会通过分析make-distribution.sh脚本，来阐述为何需要安装Git)

使用的软件的版本：
apache-maven-3.3.9-bin.tar.gz
hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-8u91-linux-x64.tar.gz
scala-2.11.8.tgz

关于maven本地仓库配置的建议：
maven的setting.xml文件配置 指定本地仓库的位置：

<localRepository>/home/hadoop/maven_repo</localRepository>

解压Spark源码到/opt/source：

$>tar -zxvf spark-2.2.0.tgz -C /opt/source

Git的安装：

$>sudo yum install git

Building with Maven

配置在系统环境变量里(建议虚拟机的内存给大点)：

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

如果不配置，可能会遇到如下问题：

[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.11/classes...
[ERROR] Java heap space -> [Help 1]

通过观察pom.xml，可以观察到编译Spark的时候，如果不手动指定hadoop与yarn的版本，会默认采用hadoop、yarn的版本

因此，当我们使用命令：

$>./build/mvn -DskipTests clean package

编译所带的hadoop版本为2.6.5

Apache Hadoop 2.6.X

$>./build/mvn -Pyarn -DskipTests clean package

Apache Hadoop 2.7.X and later

$>./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package

Building With Hive and JDBC Support

$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package

support hadoop-2.6.0-cdh5.7.0

$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package

Building a Runnable Distribution & Analysis make-distribution.sh

make-distribution.sh脚本的Github地址：
https://github.com/apache/spark/blob/master/dev/make-distribution.sh

分析make-distribution.sh：

[--mvn <mvn-command>]表示可以跟上maven的相关命令；
而-Dhadoop.version=2.6.0-cdh5.7.0 \
  -Phadoop-2.6 \
  -Phive -Phive-thriftserver \
  -Pyarn

这些就是maven的命令

发现需要检查Git，因此在前文中说在Spark源码编译之前需要安装Git

这就是Building with maven中在Spark源码编译之前所需要设置的，在make-distribution.sh的脚本中，已经写进来了

通过这个发现，maven的命令已经帮助我们”封装”好了，clean package -DskipTests这些全部在里面已经写好了；我们只需要加上maven的相关参数就可以了(这些参数被存在$MVN中)

开启Spark源码编译的时候，会去检测一堆东西，这个过程是很漫长的
因此我们需要对其进行相应的修改(将截图中的内容先全部注释掉，再加入下列内容)：

VERSION=2.2.0
SCALA_VERSION=2.11
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0
SPARK_HIVE=1

使用下列命令，开启Spark源码的编译：

$> ./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Dhadoop.version=2.6.0-cdh5.7.0 \
-Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Pyarn

关于make-distribution.sh脚本的补充：

将一系列的内容拷贝到相应的目录下(如jar包、bin、sbin文件等，这里截图没截全，详细可以看脚本)

会执行一系列的环境检查

编译中遇到的坑及排错

使用make-distribution.sh脚本进行编译的时候，产生了报错：

错误排查分析：
http://maven.aliyun.com/nexus/content/groups/public/这里面的是Apache版本的hadoop，没有我们所指定的CDH版本的Hadoop，因此会找不到，才产生了报错。

解决方案：
修改pom.xml，制定CDH的仓库，加入下列内容：

<repository>
<id>cloudera</id>
<name>cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

编译成功 & 结合make-distribution.sh脚本分析打印的信息

编译成功的截图，如下：

分析打印的信息：

这些信息与打印出的信息一致，脚本中的参数可以使用echo $XX在命令行中进行版本的查看
Spark 2.2.0安装包的名字：spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz

关于编译方式选择的解读 & 总结

使用maven-distribution.sh脚本进行编译，其实质也是使用了maven；
但是直接按照官方文档上Building with maven中的方式进行编译，会出现一个问题：即不能得到tar.gz或者是tgz这个包的；
而当我们使用make-distribution.sh脚本进行编译的时候，是可以打成包；
同时，会将我们需要的jar包、bin、sbin、example、data等这些信息全部拷贝到一个目录里面去，然后打包就出来了。
因此在生产环境中，更多时候会选择使用make-distribution.sh对Spark源码进行编译