使用Maven编译Spark源码

      本文主要介绍Linux系统下使用Maven编译Spark源码，以及可能会遇到的问题及解决。由于windows下编译的方法类似，只做粗略介绍，详细参考Linux的编译方法。spark源码为1.6.0版本。为什么用Maven不用sbt？因为一年前曾经尝试用过sbt，但是没成功，后来有别的事就把编译源码放下了，最近打算学习学习，由于之前失败的经历，这次使用的是Maven，虽然遇到不少问题，最后还是成功了。

Linux下编译Spark源码

准备：Maven和Spark源码包

1. Maven安装

1.1 首先下载Maven并解压，安装目录视情况而定，我放在了/usr/local目录下

$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
$ tar vxf apache-maven-3.3.9-bin.tar.gz
$ mv apache-maven-3.3.9 /usr/local/maven3

1.2 配置Linux环境变量

$ vim /etc/profile

加入下面两行

export MAVEN_HOME=/usr/local/maven3
export PATH=${PATH}:${MAVEN_HOME}/bin

执行 source /etc/profile，使环境变量