JDK & Maven & Scala & Git软件安装 & 前置准备
Spark 2.2.0源码的下载地址:
https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0.tgz
编译Spark源码的文档(参考官方文档):
http://spark.apache.org/docs/latest/building-spark.html
编译Spark源码的前置要求:
Maven 3.3.9 or newer
Java 8+
Scala
Git(后文会通过分析make-distribution.sh脚本,来阐述为何需要安装Git)
使用的软件的版本:
apache-maven-3.3.9-bin.tar.gz
hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-8u91-linux-x64.tar.gz
scala-2.11.8.tgz
关于maven本地仓库配置的建议:
maven的setting.xml文件配置 指定本地仓库的位置:
<localRepository>/home/hadoop/maven_repo</localRepository>
解压Spark源码到/opt/source:
$>tar -zxvf spark-2.2.0.tgz -C /opt/source
Git的安装:
$>sudo yum install git
Building with Maven
配置在系统环境变量里(建议虚拟机的内存给大点):
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
如果不配置,可能会遇到如下问题:
[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.11/classes...
[ERROR] Java heap space -> [Help 1]
通过观察pom.xml,可以观察到编译Spark的时候,如果不手动指定hadoop与yarn的版本,会默认采用hadoop、yarn的版本
因此,当我们使用命令:
$>./build/mvn -DskipTests clean package
编译所带的hadoop版本为2.6.5
Apache Hadoop 2.6.X
$>./build/mvn -Pyarn -DskipTests clean package
Apache Hadoop 2.7.X and later
$>./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package
Building With Hive and JDBC Support
$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package
support hadoop-2.6.0-cdh5.7.0
$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package
Building a Runnable Distribution & Analysis make-distribution.sh
make-distribution.sh脚本的Github地址:
https://github.com/apache/spark/blob/master/dev/make-distribution.sh
分析make-distribution.sh:
[--mvn <mvn-command>]表示可以跟上maven的相关命令;
而-Dhadoop.version=2.6.0-cdh5.7.0 \
-Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Pyarn
这些就是maven的命令
发现需要检查Git,因此在前文中说在Spark源码编译之前需要安装Git
这就是Building with maven中在Spark源码编译之前所需要设置的,在make-distribution.sh的脚本中,已经写进来了
通过这个发现,maven的命令已经帮助我们”封装”好了,clean package -DskipTests这些全部在里面已经写好了;我们只需要加上maven的相关参数就可以了(这些参数被存在$MVN中)
开启Spark源码编译的时候,会去检测一堆东西,这个过程是很漫长的
因此我们需要对其进行相应的修改(将截图中的内容先全部注释掉,再加入下列内容):
VERSION=2.2.0
SCALA_VERSION=2.11
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0
SPARK_HIVE=1
使用下列命令,开启Spark源码的编译:
$> ./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Dhadoop.version=2.6.0-cdh5.7.0 \
-Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Pyarn
关于make-distribution.sh脚本的补充:
将一系列的内容拷贝到相应的目录下(如jar包、bin、sbin文件等,这里截图没截全,详细可以看脚本)
会执行一系列的环境检查
编译中遇到的坑及排错
使用make-distribution.sh脚本进行编译的时候,产生了报错:
错误排查分析:
http://maven.aliyun.com/nexus/content/groups/public/这里面的是Apache版本的hadoop,没有我们所指定的CDH版本的Hadoop,因此会找不到,才产生了报错。
解决方案:
修改pom.xml,制定CDH的仓库,加入下列内容:
<repository>
<id>cloudera</id>
<name>cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
编译成功 & 结合make-distribution.sh脚本分析打印的信息
编译成功的截图,如下:
分析打印的信息:
这些信息与打印出的信息一致,脚本中的参数可以使用echo $XX在命令行中进行版本的查看
Spark 2.2.0安装包的名字:spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz
关于编译方式选择的解读 & 总结
使用maven-distribution.sh脚本进行编译,其实质也是使用了maven;
但是直接按照官方文档上Building with maven中的方式进行编译,会出现一个问题:即不能得到tar.gz或者是tgz这个包的;
而当我们使用make-distribution.sh脚本进行编译的时候,是可以打成包;
同时,会将我们需要的jar包、bin、sbin、example、data等这些信息全部拷贝到一个目录里面去,然后打包就出来了。
因此在生产环境中,更多时候会选择使用make-distribution.sh对Spark源码进行编译