1.spark的下载
打开网址spark.apache.org,点击download,选择想要下载的版本,我这里选择了最新的2.2.0版本
在choose a package type 中选择source code,获取spark2.2.0的下载镜像,即可完成下载。
(官网有时候版本切换会有问题,可以在download spark下方的signatures and checksums中选择想要的版本)
2.spark的编译
spark2.2.0的maven版本要求3.3.9以上,jdk要求8以上。scala最好选择2.11版本,内存要求2-8个G(重要)
编译这部分主要看官网,spark.apache.org
官网给了两种编译方