Spark源码阅读环境搭建build

build spark源码

最近再搞spark源码，遇到很多坑故在此总结一下，如果大家遇到了别的坑欢迎私信我咱们共同总结一下

一、帮助文档

spark官方给出的有关方案，可先按照官方来（如果你pom都没问题的话直接按照官方的来就会成功）
https://spark.apache.org/developer-tools.html
https://spark.apache.org/docs/latest/building-spark.html

二、流程

1、首先将spark 源码clone下来
git clone https://github.com/apache/spark.git
（读的时候切换到指定的分支就好）
2、clone完成后不要着急用工具打开，先修改一下spark整个项目的父pom中java、scala、mvn版本与你本地版本保持一致
3、修改完成后通过命令行的方式先将spark源码build一下（耗时会很长，当然你也可以build你所需要的module，但是既然要读还是全局的就好，后面你还可以自己打包部署自己修改的spark）执行如下两条命令
mvn -T 5 -DskipTests clean package（build线程数设置）
./build/mvn -Pyarn -Phadoop-3.2 -Dhadoop.version=3.2.0 -DskipTests clean package -Dmaven.test.skip=true
若第二条命令出现显示POM…FAILURE,这个问题逐一是pom本身确实有点问题，可以用官网给出的方案：
./build/mvn clean -Dmaven.clean.failOnError=false
4、build完成后再用将spark项目导入工具内阅读
5、run example
在example模块下找到java中的wc或是scala下的SparkPI，需要你对要运行的demo提前配置运行参数如下


这两个的区别就是在于红框的标记，如果你没添加红框的标记的内容的话你就需要这样配置（下图），如果添加了红框内容则就不需要添加dependency

6、到此你的demo就可以run啦

还有问题欢迎给我私信