从Spark官网上下载编译好的安装包,并不一定能够满足需要,有时候希望通过阅读和调试Spark源码来深入理解其内部机制,这时候需要自己去手动编译Spark。
Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装sbt工具,而Maven安装则需要maven工具
准备:JDK,maven(或sbt)
1. 源码下载:
选择源码包,上传到开发环境并解压。
编译过程如下:
也可以参照官网,步骤简单:
http://spark.apache.org/docs/1.6.2/building-spark.html
2.maven编译
官方推荐maven编译,由于maven工具默认分配的内存比较小,因此需要将其内存上限调整。