数据湖之Hudi（5）：Apache Hudi 的编译

电光闪烁

已于 2022-04-02 12:42:27 修改

阅读量3.5k

点赞数 3

分类专栏： # Hudi 文章标签： big data 大数据 hudi 数据湖

于 2022-02-13 22:34:12 首次发布

本文链接：https://blog.csdn.net/yang_shibiao/article/details/122910827

版权

Hudi 专栏收录该内容

44 篇文章 39 订阅

订阅专栏

0. 相关文章链接

1. Hudi源码包下载

2. 基于CentOS7编译Hudi（默认Spark等组件版本）

3. 基于windows编译Hudi（默认Spark等组件版本）

4. 基于windows编译Hudi（选择Spark等组件版本）

5. 基于CentOS7编译Hudi（选择Spark等组件版本）

6. 基于windows编译Hudi报错解决方案

7. 各Hudi编译后Jar包下载地址

0. 相关文章链接

数据湖文章汇总

1. Hudi源码包下载

因为Hudi不像Hive、Hadoop等组件一样，解压安装即可使用；而是需要先下载源码，然后根据需要的Hudi版本以及各集成的组件（包括Spark等）版本进行编译；所以需要先下载Hudi的源码包，可以在github中下载，下载地址：GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.

2. 基于CentOS7编译Hudi（默认Spark等组件版本）

需要在centos7中安装mavne，maven下载安装教程：Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

可以修改CentOS7为国内镜像，修改教程：CentOS7 原生 yum 源修改为阿里 yum 源_yang_shibiao的博客-CSDN博客

建议Maven中配置的地址：

    <mirror>
      <id>aliyunCentralMaven</id>
      <name>aliyun central maven</name>
      <url>https://maven.aliyun.com/repository/central/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
      <id>centralMaven</id>
      <name>central maven</name>
      <url>http://mvnrepository.com/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>

上传对应的zip包，然后解压，解压后如下所示：

注：博主下载的是0.10.1版本，已对根目录进行重命名，并且因为博主已经进行编译，所以其中有packaging包

执行命令，进行编译，编译命令： mvn package -DskipTests

因为编译时会下载相关maven依赖包，所以可以根据上述maven下载安装博文中所示，配置国内镜像，提高下载速度，具体编译时间根据机器和网络来判断，一共会下载1.5G左右的jar包，博主经过多次编译，在maven仓库中无任何Jar包时一共编译了6小时，当所有Jar都有再次编译时，7分钟可以编译完成，编译完成后如下图所示：

3. 基于windows编译Hudi（默认Spark等组件版本）

需要在windows中安装maven，并配置好相应的环境变量，可以参考maven下载安装教程：Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

建议Maven中配置的地址：

    <mirror>
      <id>aliyunCentralMaven</id>
      <name>aliyun central maven</name>
      <url>https://maven.aliyun.com/repository/central/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
      <id>centralMaven</id>
      <name>central maven</name>
      <url>http://mvnrepository.com/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>

从github上下载对应的hudi包，然后解压该包，会生成如下图所示内容：

在上述目录下执行maven的编译命令： mvn package -DskipTests

前面30多个包能正常编译，会发现 hudi-integ-test包编译失败，如下图所示：

这是因为这是在windows环境中执行的，hudi-integ-test模块会执行linux环境下的 bash 脚本，从而执行失败，需要把这个模块注释掉，再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容，于是两个test模块都注释掉，如下图所示：

再次执行编译脚本，运行成功，如下图所示： mvn package -DskipTests

4. 基于windows编译Hudi（选择Spark等组件版本）

直接执行如下编译命令即可，可以选择对应的Spark版本和Scala版本等： mvn clean package -DskipTests -Dspark3 -Dscala-2.12

5. 基于CentOS7编译Hudi（选择Spark等组件版本）

直接执行如下编译命令即可，可以选择对应的Spark版本和Scala版本等： mvn clean package -DskipTests -Dspark3 -Dscala-2.12

6. 基于windows编译Hudi报错解决方案

如上第3节基于windows编译Hudi（默认Spark等组件版本）所示，是因为hudi-integ-test模块会执行linux环境中的bash脚本，需要把hudi-integ-test模块注释，再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容，于是两个test模块都注释掉，这样就可以在windows中进行编译。