spark源码编译（maven）

从Spark官网上下载编译好的安装包，并不一定能够满足需要，有时候希望通过阅读和调试Spark源码来深入理解其内部机制，这时候需要自己去手动编译Spark。

---

Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装sbt工具，而Maven安装则需要maven工具

准备：JDK，maven(或sbt)

1. 源码下载：

选择源码包，上传到开发环境并解压。

编译过程如下：
也可以参照官网，步骤简单：

http://spark.apache.org/docs/1.6.2/building-spark.html

2.maven编译

官方推荐maven编译，由于maven工具默认分配的内存比较小，因此需要将其内存上限调整。