编译打包spark-1.6.0-cdh5.11.0-src详细过程及问题记录

简介

        要深入学习spark，阅读源码，修改源码，学会自己编译打包spark是必须迈过的一道坎。折腾了两天，先后编译打包了spark-1.6.0-cdh5.11.0-src，spark-1.6.0-cdh5.13.0-src版本，现在记录过程，及遇到的问题如下。

环境准备

          1.我编译的平台是CentOS7，并且能正常联网（如果你能越过那道高高的山岗，那么编译速度就大大的快了）。

            2.系统安装的Java环境是JDK7和Scala2.10.4。官网有说明，Java环境应该是7或者更高(推荐使用8，7也快过时了)。尽量不要使用Scala2.11，如果要使用则要做另外一个步骤，详见文末的官方编译参考文档。

            3.采用的是maven方式编译，因此准备maven软件：apache-maven-3.5.0。官网有说明，maven版本应该是3.3.3或者更高

        

软件下载

        1.maven： https://archive.apache.org/dist/maven/maven-3/3.5.0/binaries/   ，下载 apache-maven-3.5.0-bin.tar.gz

           2.源码下载： http://archive.cloudera.com/cdh5/cdh/5/   ，下载 spark-1.6.0-cdh5.11.0-src.tar.gz

           3.Scala下载： http://www.scala-lang.org/download/2.10.4.html

编译步骤

        1.安装maven，Scala。安装方式都类型，上传解压，修改环境变量。

                  

            2.jdk，Scala，maven等环境准备好后，上传源码解压。然后查看解压后的目录，发现有一个make-distribution.sh脚本，接下来要修改一下脚本：

vim make-distribution.sh

找到下面的片段，将其全部注释如下：