spark2.4.2 源码编译

基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.5.4和Java 8.请注意，从Spark 2.2.0开始，对Java 7的支持已被删除。

包:
jdk-8u51-linux-x64.tar.gz
apache-maven-3.3.9-bin.tar.gz
spark-2.4.2.tgz
scala-2.11.8.tgz

1、maven中的设置

需要通过设置来配置Maven以使用比平时更多的内存MAVEN_OPTS：

$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

设置MAVEN的镜像地址:
$ vi $MAVEN_HOME/conf/setting.xml



2、spark中的设置

$ cd /home/hadoop/app/spark-2.4.2
$ vi pom.xml



注意: 如果强制使用maven3.3.9版本,需要改maven版本(默认3.5.4)



3、编译

./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0  \
--tgz  \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0

---



---

---

转载于:https://www.cnblogs.com/suixingc/p/spark242-yuan-ma-bian-yi.html