IDEA 搭建Spark2.4.3源码开发

准备环境
个人事先准备的环境有
jdk1.8
Scala2.11.12
maven3.6.1
下载
在官方的git可以下载到spark的源码
官方git
由于官方git更新的并不是稳定最新版本的，因此我们需要去releases找到我们需要的版本：https://github.com/apache/spark/releases/tag/v2.4.3
下载到本地，解压缩然后更改pom文件中的配置
pom.xml中的maven和scala对应版本，然后保存退出
在命令行中编译文件

mvn -T 4 -DskipTests clean package

如图开始编译，等待完成

完成后就可以用idea打开了
打开以后在idea中指定自己的maven

完成后可以添加一个vm,让spark本地启动