编译hudi操作记录

最新推荐文章于 2024-03-01 09:52:01 发布
最新推荐文章于 2024-03-01 09:52:01 发布
阅读量539 收藏 4
点赞数 4
文章标签： 大数据 hive hadoop flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LCriska/article/details/128496506
版权

目录

修改组件版本

修改源码兼容hadoop3

手动安装kafka依赖

解决spark模块依赖冲突

1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

编译过程中的报错及操作

hudi官方文档详见：Overview | Apache Hudi

 

修改组件版本

hudi项目clone到本地，拉取0.12.0分支，修改最外层pom文件，更改各组件版本如下

hadoop3.0.0-cdh6.3.1
hive2.1.1-cdh6.3.1
spark2.4.0-cdh6.3.1
flink1.14.3
hudi0.12.0

 

修改源码兼容hadoop3

org.apache.hudi.common.table.log.block.HoodieParquetDataBlock 的110行，添加第二个参数null

 

手动安装kafka依赖

重新编译hudi需要的kafka依赖如下：

  • common-config-5.3.4.jar
  • common-utils-5.3.4.jar
  • kafka-avro-serializer-5.3.4.jar
  • kafka-schema-registry-client-5.3.4.jar

 下载链接：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip

安装到本地库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar

mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar

mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

解决spark模块依赖冲突

1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

hudi/packaging/hudi-spark-bundle/pom.xml，在382行的位置，修改如下

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

hudi/packaging/hudi-utilities-bundle/pom.xml，在345行的位置，修改如下：

<!-- Hoodie -->
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-client-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>


<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

编译过程中的报错及操作

指定版本执行编译命令

mvn clean package -DskipTests -Dspark2.4.0 -Dflink1.14 -Dscala-2.12 -Dhadoop.version=3.0.0 -Pflink-bundle-shade-hive2

报错如下：

无法将类 org.apache.zookeeper.server.ZooKeeperServer中的方法 shutdown应用到给定类型

将hadoop、spark版本指定为cdh版本，重新编译  

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.12 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

报错如下：

cdh的包找不到，没有Scala2.12的包

 更改Scala版本为2.11，重新编译

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.11 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

报错如下：

[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.3.1:compile (scala-compile-first) on project hudi-spark-common_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]

 往上查日志，发现error信息

 注释掉org.apache.hudi.DataSourceReadOptions的部分代码

注释掉org.apache.hudi.HoodieBaseRelation的部分代码  

 

 

重新编译

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.11 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

 报错如下：

 error: polymorphic expression cannot be instantiated to expected type
 ......
 required: Seq[org.apache.spark.sql.execution.datasources.PartitionedFile]

修改org.apache.spark.sql.adapter.Spark2Adapter的部分源码

 

重新编译

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.11 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

 

报错如下：

JSONException未处理

修改org.apache.hudi.utilities.sources.helpers.S3EventsMetaSelector的部分源码，增加try catch  

 

重新编译

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.11 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

 

报错如下：

同样是JSONException未处理

 

 

修改部分源码，增加try catch

重新编译

mvn clean package -DskipTests -Dspark2.4.0-cdh6.3.1 -Dflink1.14 -Dscala-2.11 -Dhadoop.version=3.0.0-cdh6.3.1 -Pflink-bundle-shade-hive2

 编译成功

 

参考：

Hudi集成CDH – 时光如水

0871-6.3.2-如何基于CDH6环境编译Hudi-0.9.0并使用 - 腾讯云开发者社区-腾讯云

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0_江南独孤客的技术博客_51CTO博客

LCriska
关注
CDH6.3.2编译安装Hudi0.9
someInNeed的博客
02-21 2192
1.准备编译环境 1)Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中 .
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
主要分享大数据相关的知识，如Spark、Hudi
11-25 2106
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
CDH 6.3.2 flink1.18集成Hudi 1.0 org.apache.hudi.sink.StreamWriteOperatorCoordinator$Provider
最新发布
qq_21480329的博客
03-01 586
CDH 6.3.2 flink1.18集成Hudi 1.0 org.apache.hudi.sink.StreamWriteOperatorCoordinator$Provider
第1节 hudi 0.9编译 CDH6.3.2环境
等夏天
10-08 1583
1.准备编译环境 1) Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中
hudi0.13.1集成cdh6.3.1编译
m0_64348660的博客
07-07 723
hudi0.13.1集成cdh6.3.1编译
CDH 6.3.2集成Hudi异常org.codehaus.jackson不存在及开源JDK版本异常
qq_21480329的博客
02-18 845
CDH 6.3.2集成Hudi异常org.codehaus.jackson不存在及开源JDK版本异常
hudi的操作记录备份以及文档
qq_31866793的博客
05-17 1338
Flinkdatagen代码： public class TestDataKafka2doris { private static final String JDBC_SQL = "CREATE TABLE join_test (\n"+ " id INT,\n" + " name STRING\n"+ " ) WITH (\n"+ " 'connector' = 'jdbc',\n"...
Hudi DeltaStreamer使用总结
主要分享大数据相关的知识，如Spark、Hudi
06-24 1291
总结如何利用Hudi DeltaStreamer工具从外部数据源读取数据并写入新的Hudi表，是hudi-utilities-bundle的一部分，按照Apache Hudi 入门学习总结,将hudi-spark-bundle包拷贝至$SPARK_HOME/jars目录下即可。提供了从DFS或Kafka等不同来源进行摄取的方式，并具有以下功能。命令行选项更详细地描述了这些功能： 最新版本应该支持了更多参数，可以查阅官网：https://hudi.apache.org/cn/docs/hoodie_delta
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录
06-25
总的来说，Hudi的使用涉及多个环节，从编译、配置到实际操作，每个步骤都需要细心处理。而集成Spark3.0和Flink-1.12.x则进一步增强了Hudi在实时场景下的应用能力，使得数据处理更加灵活高效。通过不断实践和学习，你...
Hudi on Flink在顺丰的实践应用.pdf
03-11
顺丰业务介绍、顺丰大数据业务全景图、顺丰IOT大数据应用全景图、顺丰科技大数据技术矩阵、顺丰数据应用架构、数据库实时化、Hudi数仓宽表方案、Flink替换Hive演进等
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 436
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
Hudi（2）：Hudi的编译和安装
yang_shibiao的博客
12-27 4634
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml（在405行的位置，修改如下（红色部分））修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式
m0_61172266的博客
09-27 1205
Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式
cdh安装hadoop组件后一些常用设置
catcher92的博客
09-16 726
cdh安装hadoop组件后一些常用设置
Apache hudi编译
bigdata_player
10-13 606
1.配置maven镜像 $MAVEN_HOME/conf/settings.xml <mirrors> <mirror> <id>aliyunmaven</id> <mirrorOf>*</mirrorOf> <name>阿里云公共仓库</name> <url>https://maven.aliyun.com/reposit...
无法下载io.confluent:kafka相关jar
qq_42773076的博客
04-12 832
在所属的工程的pom文件加入Confluent Maven 存储库。或者maven的配置中加入Confluent Maven 仓库库。
org.apache.spark.sql.adapter.Spark3Adapter 问题以及spark-hudi提交yarn脚本
LZX的博客
02-07 3408
问题描述： sparkstructedstreaming 将kafka数据写入hudi 并与hive同步 执行报错如下： Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.adapter.Spark3Adapter 解决办法： 问题显示没有发现适配器这个包？ spark也没这个包啊？ 查看启动脚本，忘记添加hudi --jars了… --jars /opt/soft/hudi/hudi-0.9.0/packaging/hu
cdh6环境编译hudi-0.9.0
06-06
Hudi是一个基于Apache Hadoop的可伸缩数据湖解决方案，通过在数据湖中为实时和离线数据引入新的数据操作能力，提高数据湖的访问和管理效率。而将Hudi-0.9.0编译到cdh6环境中，可以提供更稳定和高效的运行。下面是详细步骤： 1.下载hudi源码：使用git clone命令从github上下载hudi的源码，并切换到0.9.0的分支。 2.配置maven：在cdh6环境下需要先安装maven，并且配置好环境变量。可以使用以下命令进行安装： wget http://apache.mirrors.hoobly.com/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz tar xf apache-maven-3.5.4-bin.tar.gz export PATH=$PATH:/path/to/apache-maven-3.5.4/bin 3.编译hudi：进入hudi源码所在目录，打开控制台输入以下命令： cd hudi mvn clean package -DskipTests -Pcdh6 4.等待编译完成：根据电脑性能的不同，等待时间也会不同。当构建成功后，会在hudi代码根目录的/target目录下找到hudi-0.9.0-SNAPSHOT-incubating.jar，此即为安装成功的程序。 总之，对于需要将Hudi-0.9.0编译到cdh6环境中的用户，通过下载源码、配置maven和编译hudi的操作步骤即可快速实现。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LCriska

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值