为了利用IDE工具调试Spark源码,分别在macOS上搭建了Spark1.60源码调试环境,在windows下搭建了Spark2.20调试环境。利用IDE编译Spark会出现一些通识性问题,下面将针对这些问题的解决方法做详细描述(macOS与windows通用)
准备
- IDEA 工具 https://www.jetbrains.com/idea/
- Spark 源码 https://spark.apache.org/
编译源码
导入项目
直接利用IDEA
导入Spark
工程,Import Project
中选择Import project from external model
中的Maven
。
一路next
到选择sdk
时配置好JDK
即可
配置对应版本的scala SDK
先安装scala plugin
,在设置中的插件管理器中安装scala</