Spark_0 Spark版本及编译

Spark版本

学习用2.4.2
大版本 APIs change
次版本 APIs/features
小版本 （核心的东西没有变，只是修复了一些bug）所以小版本要选大的
小版本如果是0，最好不要选，没有被修复过，bug多

Spark编译

由于hadoop-2.6.0-cdh5.7.0和官网的hadoop2.6.0不一样。并且，Spark需要支持K8S、Hive等等，Spark对应的Hadoop版本需要是CDH版本的，所以Spark需要使用自己编译后的版本。

./dev/make-distribution.sh --name 2.6.0-cdh5.7.0  --tgz  -Phadoop-2.6 -Phive -Phive-thriftserver  -Pyarn -Pkubernetes -Dhadoop.version=2.6.0-cdh5.7.0

make-distribution的脚本其实是将mvn的命令包起来，并且最后会打成tgz包，名字

spark-$VERSION-bin-$NAME.tgz	spark-2.4.2-bin-2.6.0-cdh5.7.0.tgz

具体的编译过程，见：https://blog.csdn.net/qq_32641659/article/details/89684042