前置条件:首先需要安装idea ,配置jdk,scala等基础配置**
1.拉取branch-3.3代码
填入spark git 项目地址
这里首先使用fetch 选项拉取spark 所有分支信息,然后在使用branches切换到指定分支中
2.修改maven pom 文件
在windows下编译3.3代码时需要对pom 文件做下修改,默认pom 中对maven 版本做了限制为3.8.4并且这个版本在windows下与scala- maven-plugin 编译插件适配上有些问题,需要将pom 中maven 版本修改为3.8.1(如果还有问题 还需将scala-maven-plugin 版本修改为 4.3.0)
这里可以参考spark jira的记录:
https://issues.apache.org/jira/browse/SPARK-37634
https://issues.apache.org/jira/browse/SPARK-38114
3.进行编译
mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests
4.测试编译是否ok
这里我们可以找到 org.apache.spark.sql.SQLQuerySuite 自带测试类进行测试