win系统 spark3.2.1编译

Spark源码编译

编译前准备工具

1. 64位jdk8

2. idea安装好scala、antlr v4插件

3. maven-setting增加阿里云镜像

4. 从gitHub上clonespark源码

5. 导入idea，设置好对应的maven仓库

6. 切换branch到3.2

7. 项目构建

   mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
   

问题汇总

1. An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program “bash”: CreateProcess error=2, 系统找不到指定的文件

   spark-core的pom.xml需要注释掉这段，不生成构建信息

<!--      <plugin>-->
<!--        <groupId>org.apache.maven.plugins</groupId>-->
<!--        <artifactId>maven-antrun-plugin</artifactId>-->
<!--        <executions>-->
<!--          <execution>-->
<!--            <phase>generate-resources</phase>-->
<!--            <configuration>-->
<!--              &lt;!&ndash; Execute the shell script to generate the spark build information. &ndash;&gt;-->
<!--              <target>-->
<!--                <exec executable="bash">-->
<!--                  <arg value="${project.basedir}/../build/spark-build-info"/>-->
<!--                  <arg value="${project.build.directory}/extra-resources"/>-->
<!--                  <arg value="${project.version}"/>-->
<!--                </exec>-->
<!--              </target>-->
<!--            </configuration>-->
<!--            <goals>-->
<!--              <goal>run</goal>-->
<!--            </goals>-->
<!--          </execution>-->
<!--        </executions>-->
<!--      </plugin>-->

2. [ERROR] Java heap space -> [Help 1]

资源不足，参考官网设置maven相关参数

set MAVEN_OPTS=-Xss64m -Xmx2g -XX:ReservedCodeCacheSize=1g

参考链接

https://spark.apache.org/docs/3.2.1/building-spark.html#buildmvn