spark2查看并修改源码

 

 

如果你只是想单纯的修改部分类的源码，并不需要网上教程的mvn  build等操作。。。。

本文基于spark2.1.0,spark2以后， 没有spark-assembly.jar了，东西拆分成了不同的模块,spark-core.jar spark-yarn.jar等等...

1. 查看源码

 http://spark.apache.org/downloads.html 下好你使用的spark版本的源码

下好后解压，在idea中查看源码的时候引入这个目录即可。

2.修改源码

还是刚才那个东西，idea中新建一个项目，引入这个目录按默认配置即可，引入后会maven下载诸多jar。

经过漫长的等待后等待自动完成，若卡在某个步骤很长时间重启idea 对maven reimport即可。

接下来可对任意的模块修改,修改后将

该pom.xml文件中的所有scalastyle,scalatest的plugin都屏蔽掉，若是还报错:scalastyle-config.xml 找不到对应的文件将该文件复制到你修改的模块中即可

之后即可在右侧的maven project 工具栏对你修改的模块进行compile,install等操作了。