hudi 0.13.1 编译遇到的几个坑

最新推荐文章于 2024-03-13 16:23:02 发布
最新推荐文章于 2024-03-13 16:23:02 发布
阅读量678 收藏 2
点赞数
分类专栏： 数据湖 文章标签： flink spark hive 数据仓库 大数据 etl工程师
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33242301/article/details/132525462
版权

官方文档

官网：https://hudi.apache.org/docs/quick-start-guide

下载

# 下载
[hadoop@node01 opt]$ https://dist.apache.org/repos/dist/release/hudi/0.13.1/hudi-0.13.1.src.tgz
# 解压
[hadoop@node01 opt]$ tar -zxvf hudi-0.13.1.src.tgz -C /hoem/hadoop/opt/

环境准备

[hadoop@node01 opt]$ wget https://dist.apache.org/repos/dist/release/maven/maven-3/3.9.4/binaries/apache-maven-3.9.4-bin.tar.gz
[hadoop@node01 opt]$ tar -zxvf apache-maven-3.9.4-bin.tar.gz
[hadoop@node01 opt]$ mv apache-maven-3.9.4 maven-3.9.4

设置maven环境变量

# 打开文件
sudo vim /etc/profile
# 添加内容
#MAVEN_HOME
export MAVEN_HOME=/home/hadoop/opt/maven-3.9.4
export PATH=$PATH:$MAVEN_HOME/bin
# 执行命令使其生效
source /etc/profile
# 查看是否生效
mvn -v

修改maven配置

vim /home/hadoop/opt/maven-3.9.4/conf/settings.xml 

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

修改文件

1、修改 hudi 的 pom.xml 文件

根据个人实际使用情况修改Hdi依赖的Hadoop和Hive版本

<!--<hadoop.version>2.10.1</hadoop.version>-->
<hadoop.version>3.3.5</hadoop.version>
<!--<hive.version>2.3.1</hive.version>-->
<hive.version>3.1.3</hive.version>


添加阿里云仓库地址

<repository>
  <id>nexus-aliyun</id>
  <name>nexus-aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>


2. 源码修改

在Hive3中Date类型序列化器的入参发生改变，Hudi中依赖的是低版本的Hive，需要做一些修改。

路径：hudi-0.13.1/hudi-hadoop-mr/src/main/java/org/apache/hudi/hadoop/utils/HiveAvroSerializer.java

case DATE:
        //return DateWritable.dateToDays(((DateObjectInspector)fieldOI).getPrimitiveJavaObject(structFieldData));
        return new DateWritable((DateWritable) structFieldData).getDays();
case TIMESTAMP:
        /*Timestamp timestamp =
            ((TimestampObjectInspector) fieldOI).getPrimitiveJavaObject(structFieldData);
        return timestamp.getTime();*/
        return new TimestampWritable((TimestampWritable) structFieldData).getTimestamp().getTime();
case INT:
        if (schema.getLogicalType() != null && schema.getLogicalType().getName().equals("date")) {
          //return DateWritable.dateToDays(new WritableDateObjectInspector().getPrimitiveJavaObject(structFieldData));
          //return new DateWritable((DateWritable)structFieldData).getDays();
          return new WritableDateObjectInspector().getPrimitiveWritableObject(structFieldData).getDays();
        }
      return fieldOI.getPrimitiveJavaObject(structFieldData);

修改完代码后在编译时mvn参数需要添加-Dcheckstyle.skip选项

  1. 解决spark模块依赖冲突

修改了Hive版本为3.1.3，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。

(1). 修改hudi-spark-bundle的pom.xml文件，排除低版本jetty，添加hudi指定版本的jetty:

# 需修改的文件位置
hudi-0.13.1/packaging/hudi-spark-bundle/pom.xml

修改内容：

<!-- Hive -->
<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-service</artifactId>
  <version>${hive.version}</version>
  <scope>${spark.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <artifactId>servlet-api</artifactId>
      <groupId>javax.servlet</groupId>
    </exclusion>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.pentaho</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-service-rpc</artifactId>
  <version>${hive.version}</version>
  <scope>${spark.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-jdbc</artifactId>
  <version>${hive.version}</version>
  <scope>${spark.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-metastore</artifactId>
  <version>${hive.version}</version>
  <scope>${spark.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>org.apache.hbase</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.datanucleus</groupId>
      <artifactId>datanucleus-core</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-common</artifactId>
  <version>${hive.version}</version>
  <scope>${spark.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty.orbit</groupId>
      <artifactId>javax.servlet</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<!-- 增加hudi配置版本的jetty -->
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-server</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-util</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-webapp</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-http</artifactId>
  <version>${jetty.version}</version>
</dependency>

<!-- zookeeper -->

(2). 修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

# 需修改的文件位置
hudi-0.13.1/packaging/hudi-utilities-bundle/pom.xml

修改内容：

<!-- Hive -->
<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-service</artifactId>
  <version>${hive.version}</version>
  <scope>${utilities.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>org.apache.hbase</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <artifactId>servlet-api</artifactId>
      <groupId>javax.servlet</groupId>
    </exclusion>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.pentaho</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-service-rpc</artifactId>
  <version>${hive.version}</version>
  <scope>${utilities.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-jdbc</artifactId>
  <version>${hive.version}</version>
  <scope>${utilities.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-metastore</artifactId>
  <version>${hive.version}</version>
  <scope>${utilities.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>org.apache.hbase</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.datanucleus</groupId>
      <artifactId>datanucleus-core</artifactId>
    </exclusion>
    <exclusion>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>*</artifactId>
    </exclusion>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>${hive.groupid}</groupId>
  <artifactId>hive-common</artifactId>
  <version>${hive.version}</version>
  <scope>${utilities.bundle.hive.scope}</scope>
  <exclusions>
    <exclusion>
      <groupId>org.eclipse.jetty.orbit</groupId>
      <artifactId>javax.servlet</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>

<dependency>
  <groupId>org.apache.htrace</groupId>
  <artifactId>htrace-core</artifactId>
  <version>${htrace.version}</version>
  <scope>compile</scope>
</dependency>
<!-- 增加hudi配置版本的jetty -->
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-server</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-util</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-webapp</artifactId>
  <version>${jetty.version}</version>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-http</artifactId>
  <version>${jetty.version}</version>
</dependency>
<!--增加hudi common和hudi client common的依赖-->
<dependency>
  <groupId>org.apache.hudi</groupId>
  <artifactId>hudi-common</artifactId>
  <version>${project.version}</version>
  <exclusions>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hudi</groupId>
  <artifactId>hudi-client-common</artifactId>
  <version>${project.version}</version>
  <exclusions>
    <exclusion>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>
  1. 修改packaging/hudi-flink-bundle/pom.xml，在relocations标签中加入
<relocation>
  <pattern>org.apache.parquet</pattern>
  <shadedPattern>${flink.bundle.shade.prefix}org.apache.parquet</shadedPattern>
</relocation>

编译

mvn clean package -DskipTests -Dcheckstyle.skip -Dspark3.4 -Dflink1.16 -Dscala-2.12 -Dhadoop.version=3.3.5 -Pflink-bundle-shade-hive3

运行 hudi-cli/hudi-cli.sh出现下面的结果表示编译成功


代码编译完成后进入：hudi-0.13.1/packaging/hudi-spark-bundle/target/

详细资料关注微信公众号
在这里插入图片描述

大数据与Python
关注
专栏目录
数据湖（四）：Hudi与Spark整合
Lansonli（蓝深李）的博客
05-29 2648
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下: Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本 Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12
记一次hudi源码编译
wqqlsy1990的博客
12-07 510
hadoop 3.0.0 hive 2.3.9 flink 1.15.2 kafka 2.1.0 hudi 0.12.1 2.1 把hudi对应0.12.1版本的代码下载到本地，源码地址：GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.2.2 选择0.12.1对应版本,然后点击code，最后点击 Download zip，就可以把源码下载到本地。 2.3 下载到本地后，
hudi-0.13.1编译-解决编译的jar，flink不能同步到hive
weixin_40313445的博客
07-04 487
类文件具有错误的版本 55.0, 应为 52.0，flink1.16需要用jdk11编译，我的环境是1.8。2.flink中已经解决，因我的项目中主要实用flink，但为了后续可能会用到spark，还是改了过来。修改DATE、TIMESTAMP、INT三处，使用hive3在未修改的情况下，编译时会报错。我测试使用的是COW表，直接生成parquet表，方便hive查询。编译过程中报错， 我将hudi-flink1.16.x的模块删掉。编译成功后，avro文件生成的代码报错。
hudi0.13.1集成cdh6.3.1编译
m0_64348660的博客
07-07 763
hudi0.13.1集成cdh6.3.1编译
flinksql写入hudi 踩坑实录
80工龄程序员
04-08 4879
flinksql写入hudi 测试环境： Flink 1.11.1 hudi 0.8.0 Hadoop 3.0.0 Hive 2.1.1 准备工作： 1.安装flink 1.11.1,要下载带hadoop版本的； 2.下载hudi-flink-bundle_2.1?.jar，并放入$FLINK_HOME/lib下。下载地址： https://repo.maven.apache.org/maven2/org/apache/hudi/hudi-flink-bundle_2.11/ 具体实施步骤：
【Hudi数据湖应用】hudi 0.11编译异常之HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器
m0_66705151的博客
06-13 1272
一篇文章告诉你如何修复Hudi0.11编译：HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器。
linux下进行编译出现错误
最新发布
qq_63053996的博客
03-13 305
linux下进行编译出现错误
数据湖架构之Hudi编译篇
敏叔
06-18 1416
说起编译hudi，从第一遍过之后，再回过头来看，发现就是第一遍不熟悉，出现的一切问题可以总结为maven仓库没配置好。一开始我只是配置了阿里云仓库，但是后面不断报错，然后百度谷歌找原因，再调整配置，再编译，最后就成功了，所以整体来说编译不复杂，只要配置正确，那我把最后可以通过的配置贴出来，这也是我觉得可以帮助到大部分同学的地方。hudi迭代还是比较快的，因为同时也依赖了hadoop和spark，为了组合使用，我使用的是0.9.0版本，对应地址：[https://hudi.apache.org/release
hudi编译失败，不能通过maven自动下载的jar包
10-06
hudi编译失败，不能通过maven自动下载的jar包，包括: pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar, kafka-schema-registry-client-5.3.4.jar,kafka-avro-serializer-5.3.4.jar,common-utils-5.3.4.jar,common-...
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑
m0_66705151的博客
06-05 3508
一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。
Hudi 编译protoc-3.21.5-windows-x86_32.exe 包找不到问题
xuye0606的博客
06-16 452
很明显，yuan'yin'wei可以看出是版本冲突的问题，解决方案就需要重新安装符合的protoc。
Apache Hudi源码编译
HPGANG的博客
07-03 208
在Linux 版本64位操作上下载和安装Maven，直接将Maven软件包解压，然后配置系统环境变量即可。Maven版本为：3.9.3。在maven解压后的目录下创建data目录。进入到hudi目录下执行mvn编译命令。下载源码包,版本为0.13.0。查看到以下界面则表示安装成功。
hudi0.13.0编译
weixin_45249411的博客
06-08 321
Hudi0.13编译 - 知乎 (zhihu.com)Hudi Hive sync 使用 - 简书 (jianshu.com)[SUPPORT]Compile Error of hudi-0.13.0 "org.apache.hadoop.hive.common.type can not be converted to java.sql.Date" · Issue #8216 · apache/hudi (github.com)之一--源码编译 - 知乎 (zhihu.com)Hudi master 0.1
解决项目配置了maven 阿里云，还是用中央仓库下载依赖问题
qq_38912368的博客
11-30 1363
pom文件添加 <repositories> <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <
Hudi第一章：编译安装
weixin_50835854的博客
09-24 1213
Apache Hudi（发音为“连帽衫”）是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、 和并发性，同时将数据保留为开源文件格式。Apache Hudi 不仅非常适合流式处理工作负载，而且还允许您创建高效的增量批处理管道。
02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等
涂作权的博客
08-11 1576
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。每条记录由记录的key值进行标识并映射到一个fileId。
Hudi（2）：Hudi的编译和安装
yang_shibiao的博客
12-27 4840
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml（在405行的位置，修改如下（红色部分））修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
数据湖之Hudi源码编译
奔跑的蜗牛的博客
02-10 478
在centos系统上安装Maven，直接将Maven解压，然后配置系统环境变量即可，配置完Maven环境变量以后，执行mvn -version。编译完成以后，进入hudi-cli目录，运行hudi-cli脚本，如果可以运行，说明编译成功。编译Hudi源码步骤。
hudi arm编译
10-17
Hudi Arm编译主要是指在Arm架构的处理器上进行Hudi项目的编译工作。通常情况下，Hudi项目的编译是在x86架构的处理器上完成的，但是若需要在Arm架构上编译Hudi，需要进行一些适配和配置工作。 首先，为了在Arm上编译Hudi，我们需要确保操作系统是基于Arm架构的，例如使用一些常见的Arm发行版，如Raspbian等。接着，我们需要安装一些必要的编译工具和依赖库，例如OpenJDK、Apache Maven和CMake等。这些工具可以通过包管理器或者从官方网站下载来安装。 然后，在确保编译环境配置正确的前提下，我们可以使用Maven命令在Arm上编译Hudi项目。在Hudi的根目录下，我们执行以下命令： ``` mvn clean install -DskipTests ``` 这将会自动编译Hudi项目，并生成编译后的JAR包和其他相关文件。请注意，由于在Arm上编译Hudi可能会存在某些依赖库的不兼容问题，可能需要根据具体情况进行一些调整和处理。 最后，完成编译后，我们可以使用生成的JAR包在Arm上运行Hudi项目。在部署和运行过程中，也可能需要注意一些与Arm架构相关的问题，例如Java版本兼容性、系统资源的限制等等。 综上所述，Hudi Arm编译需要在Arm架构的处理器上进行适配和配置，并使用Maven命令进行编译。编译完成后，可以在Arm上部署和运行Hudi项目。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值