Spark的编译

由于Spark的运行环境的多样性，如可以运行在hadoop的yarn上，这样就必须要对Spark的源码进行编译。下面介绍一下Spark源码编译的详细步骤：

1、Spark的编译方式：编译的方式可以参考官网：https://spark.apache.org/docs/latest/building-spark.html

　　Spark的源码编译有三种方式：

　　（1）SBT（简单构建工具）方式 ；

　　（2）maven方式，这种编译方式是根据源码中的pom.xml文件来编译的，编译的方式是每个项目逐个编译，最后并不会生成一个打包好的文件；

　　（3）打包编译：make-distribution.sh ，这种方式实际上也是采用maven方式编译，但是最后会生成一个打包好的文件。因此，我们采用的是打包方式编译。

1、安装之前必须要准备的软件：

（1）JDK安装

　　其版本要求是JDK1.7+，由于Spark后期的 版本不支持JDK1.6.因此需要安装JDK1.7+。

（2）maven 安装

　　其版本要求是3.0.5

（3）SCALA安装

　　其版本的要求是2.10的版本

2、下载Spark的源码。

　　进入官网下载：