Spark源码编译及使用

这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包，为什么不直接用官方的安装包呢？因为我们在使用spark的时候会结合Hadoop来使用，有自己的需求，所以我们使用源码来编译。

首先去官网上来下载源码。

我们选择2.1.0版本。然后解压。spark源码使用maven构建的，所以在编译之前我们最好下载一个maven，maven版本至少在3.3.9至少，另外Java 版本要在7+之上。spark由Scala编写，所以还要下载Scala环境。
解压后我们发现Spark根目录有一个pom.xml文件，我们就在这个目录之前编译的命令即可，因为我们要结合Hadoop使用，所以在pom.xml中加入Hadoop使用到的jar包。我们在repositories标签下加入Hadoop的仓库位置，便于下载jar包。

<repositories>
  <repository>
     <id>central</id>
      <!-- This should be at top, it makes maven try the central repo first and then others and hence faster dep resolution -->
      <name>Maven Repository</name>
      <url>https://repo1.maven.org/maven2</url>
      <releases>
        <enabled>true</enabled>
      </releases>
      <snapshots>
        <enabled>false</enabled>
      </snapshots