如果你只是想单纯的修改部分类的源码,并不需要网上教程的mvn build等操作。。。。
本文基于spark2.1.0,spark2以后, 没有spark-assembly.jar了,东西拆分成了不同的模块,spark-core.jar spark-yarn.jar等等...
1. 查看源码
http://spark.apache.org/downloads.html 下好你使用的spark版本的源码
下好后解压,在idea中查看源码的时候引入这个目录即可。
2.修改源码
还是刚才那个东西,idea中新建一个项目,引入这个目录按默认配置即可,引入后会maven下载诸多jar。
经过漫长的等待后等待自动完成,若卡在某个步骤很长时间重启idea 对maven reimport即可。
接下来可对任意的模块修改,修改后将
该pom.xml文件中的所有scalastyle,scalatest的plugin都屏蔽掉,若是还报错:scalastyle-config.xml 找不到对应的文件将该文件复制到你修改的模块中即可
之后即可在右侧的maven project 工具栏对你修改的模块进行compile,install等操作了。