Spark编译与部署

一. 编译Spark
    Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要
在联网下进行。maven主要是编译java程序的，sbt主要是编译scala程序的。
1. 编译Spark（SBT）
1.1 安装git并编译安装
若为ubuntu，则直接执行命令

sudo apt-get install git

1.2 配置环境

打开/etc/profile把git所在路径加入到PATH参数中

export GIT_HOME=/app/git-2.9.3

export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$GIT_HOME/bin

1.3 下载Spark源代码

点我下载

1.4在主节点上解压缩，解压在路径app/complied/spark-2.0.0下

1.5 编译代码

编译spark源代码的时候，需要从网上下载依赖包，所以整个编译过程机器必须保证在联网状态。

【未完】