利用IDEA工具编译Spark源码(1.60~2.20)

为了利用IDE工具调试Spark源码，分别在macOS上搭建了Spark1.60源码调试环境，在windows下搭建了Spark2.20调试环境。利用IDE编译Spark会出现一些通识性问题，下面将针对这些问题的解决方法做详细描述（macOS与windows通用）

准备

• IDEA 工具 https://www.jetbrains.com/idea/
• Spark 源码 https://spark.apache.org/

编译源码

导入项目

直接利用IDEA导入Spark工程，Import Project中选择Import project from external model中的Maven。

一路next到选择sdk时配置好JDK即可

配置对应版本的scala SDK

先安装scala plugin，在设置中的插件管理器中安装scala</