如何编译Spark

1.安装环境

软件准备

spark-2.4.4.tgz源码
jdk-8u144-linux-x64.tar.gz   JDK1.8以上  
apache-maven-3.3.9-bin.tar.gz
scala-2.11.8.tgz
hadoop-2.6.0-cdh5.15.1.tar.gz

1.1 安装jdk

tar -xf jdk-8u144-linux-x64.tar.gz -C  /usr/local/spark-test/app
vi  /etc/profile       
export  JAVA_HOME=/usr/local/spark-test/app/jdk1.8.0_144
export  PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
java -version

1.2 安装maven

tar -xf apache-maven-3.3.9-bin.tar.gz -C ../app/
vi /etc/profile
export MAVEN_HOME =/usr/local/spark-test/app/apache-maven-3.3.9(注意配置环境变量时，=与后面的路径之间不能有空格)
export PATH=$MAVEN_HOME/bin:$PATH
source /etc/profile
mvn -version
建议修改maven本地仓库的地址：
cd /usr/local/spark-test/app/apache-maven-3.3.9/conf
vi  settin