Spark源码导入IDE

可以查看: https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IntelliJ

1.导入IntelliJ（方法一）

1.1 下载安装IntelliJ,在一开始的界面"Configure->Plugins"中输入Scala,安装Scala插件.

1.2 在界面"Import Project",将Spark的源码导入,并且以"Maven Project"的形式导入文件.

1.3 按照IDEA的默认要求,一直选择下一步.进入到IDEA的界面之后,等待代码导入完毕后,可以 "Rebuild Project"一下程序.

1.4 如果"Rebuild Project"失败，就先在"Maven Projects"中点击"Generate Sources and Update Folders For All Projects"

2.导入IntelliJ（方法二）

1.1 进入spark源码根目录后，执行：build/sbt gen-idea 编译成IntelliJ的文件。（可能会报错：Could not reserve enough space for object heap，这个时候要设置一下sbt使用JVM的内存，输入指令：sbt -mem 128）

1.2 intelliJ直接导入上面的结果。