Spark源码编译Idea for Mac

版本说明

• Spark 2.2.0 源码下载地址：Index of /dist/spark
• Scala 2.11.8 下载地址：All Available Versions | The Scala Programming Language
• Idea 版本：2022.3.1

编译步骤

1.以maven方式导入到Idea中编译

切换源码根目录以命令行方式执行编译命令：

mvn -T 16 -DskipTests package

大概需要20~30分钟

2.运行example目录下的JavaLogQuery示例

报错记录

1.编译报错

scalac: Error: Error compiling the sbt component 'compiler-interface-2.11.8-61.0'

解法：在Idea的系统配置中搜Scala Compile Server，将JVM的JDK设置为1.8，与项目设置保持一致（如果不是也请改为1.8）。

参考：