大数据数据湖技术Hudi0.12.0版本源码编译

最新推荐文章于 2024-09-08 17:00:37 发布
最新推荐文章于 2024-09-08 17:00:37 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： 大数据组件 离线安装编译 文章标签： 大数据 hadoop hudi 数据湖 湖仓一体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Keyuchen_01/article/details/130730274
版权

0 介绍

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。
Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。
Apache Hudi可以轻松地在任何云存储平台上使用。Hudi的高级性能优化，使分析工作负载更快的任何流行的查询引擎，包括Apache Spark、Flink、Presto、Trino、Hive等。

1 环境准备

1.1 安装maven

要求maven版本3.3.1版本及以上
在这里插入图片描述
修改setting.xml，指定为阿里仓库地址

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

1.2 安装JDK

要求jdk8及以上的版本
在这里插入图片描述

1.3 Git

主要用于获取hudi源码

1.4 下载hudi源码

https://github.com/apache/hudi/releases/

2 Hudi源码编译

2.1 修改pom文件

修改hudi-0.12.0/pom.xml文件
1）新增repository加速依赖下载

<repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

2）修改依赖的组件版本
根据需要适配的组件修改相应的版本号，默认的hadoop版本为2.10.1。hive默认版本为2.3.1，修改为当前自己使用的版本
在这里插入图片描述

2.2 修改代码

Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码：
hudi-0.12.0/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java
在这里插入图片描述
否则会因为hadoop2.x和3.x版本兼容问题.

2.3 修改kafka依赖

有几个kafka的依赖需要手动安装，否则编译报错如下：

1)下载jar包
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip
解压后找到以下jar包，上传服务器

common-config-5.3.4.jar
common-utils-5.3.4.jar
kafka-avro-serializer-5.3.4.jar
kafka-schema-registry-client-5.3.4.jar

2）install到maven本地仓库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

2.4 解决spark模块依赖冲突

修改了Hive版本为3.1.0，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突
1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml
在280行的位置，添加内容如下：

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

hive-service

在这里插入图片描述
hive-jdbc
在这里插入图片描述
hive-metastore
在这里插入图片描述
hive-common
在这里插入图片描述
最后新增
在这里插入图片描述
2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml

<!-- Hoodie -->
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-client-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>


<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

hive-service
在这里插入图片描述
hive-jdbc
在这里插入图片描述
hive-metastore
在这里插入图片描述
hive-common
在这里插入图片描述
新增内容
在这里插入图片描述

2.5 执行编译

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.1 -Pflink-bundle-shade-hive3

注：这里通过-D参数指定spark/flink组件版本，指定scala版本

在这里插入图片描述

3 验证

编译成功后，进入hudi-cli说明成功
在这里插入图片描述
编译完成后，相关的包在packaging目录的各个模块中：
在这里插入图片描述

不以物喜2020
关注
专栏目录
Hudi 源码编译安装
shangjg3的博客
08-04 275
1.安装前准备1.1 环境准备1.2 安装maven配置环境变量修改maven本地仓库配置和阿里云maven远程仓库。
大数据之Hudi数据湖_大数据治理_简介_发展历史_特性_应用场景---大数据之Hudi数据湖工作笔记0001
添柴程序猿的专栏
03-02 442
hudi就不需要了,hudi,如果你想用flink去读取hudi表,操作hudi,那么只需要将flink-hudi.jar,放到flink的lib目录就可以了.看看hudi的发展过程,hudi解决了,大数据处理中的,数据更新问题,数据索引问题,数据表结构变化同步问题,然后我们来看一下hudi的处理流程,可以看到,首先是数据收集,可以看到,数据各种来源,可以汇集到。然后hudi非常轻量,就是说用flink,需要安装,然后配置,然后再去启动,配置集群,
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客 --- moon_coder
12-11 6361
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
数据湖组件Hudi中清理操作源码解析
最新发布
weixin_41843527的博客
09-08 250
数据湖Hudi清理策略讲解
Apache Hudi数据湖源码编译
Bulut0907
06-06 485
目录1. 下载解压2. 使用maven编译 1. 下载解压 [root@bigdata005 hudi]# [root@bigdata005 hudi]# pwd /opt/hudi [root@bigdata005 hudi]# [root@bigdata005 hudi]# wget https://github.com/apache/hudi/archive/refs/heads/master.zip [root@bigdata005 hudi]# [root@bigdata005 hudi]#
数据湖之Hudi源码编译
奔跑的蜗牛的博客
02-10 474
在centos系统上安装Maven，直接将Maven解压，然后配置系统环境变量即可，配置完Maven环境变量以后，执行mvn -version。编译完成以后，进入hudi-cli目录，运行hudi-cli脚本，如果可以运行，说明编译成功。编译Hudi源码步骤。
【Hudi】编译
weixin_45746689的博客
06-11 914
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip。(1)上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码。（1）修改setting.xml，指定为阿里仓库地址。
大数据数据湖之hudi
bigdata_wangzhe的博客
03-28 1598
hudi介绍 Hudi将带来流式处理大数据， 提供新数据集，同时比传统批处理效率高一个数据量级。 特性 （1）快速upsert,可插入索引 （2）以原子方式操作数据并具有回滚功能 （3）写入器之间的快照隔离 （4）savepoint用户数据恢复的保存点 （5）管理文件大小，使用统计数据布局 （6）数据行的异步压缩和柱状数据 （7）时间轴数据跟踪血统 通过Spark-shell快速开始 Spark-shell启动 spark-shell启动,需要指定spark-avro模块，因为默认环境里没有，spark-
数据湖Hudi操作文档和实例代码
06-03
这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中...
大数据之Hudi数据湖_执行编译hudi命令和jar包位置_hudi和hive集成_和spark集成_和presto集成_和flink集成_和trino集成---大数据之Hudi数据湖工作笔记0004
添柴程序猿的专栏
10-11 222
比如,把hudi-hive-sync-bundle和hudi-hadoop-mr-bundle中的jar包,放到hive项目的lib目录下面就可以了.这就算是跟hive集成了,当然spark也一样,这里我们用。比如想跟flink集成,那么就 从hudi-flink-bundle中拿出jar包,然后放到flink的依赖中,也就是对应的lib中就可以了。在hudi源码的根目录执行就可以了,注意要指定spark的版本上面指定的是3.2 如果不指定默认是3,最好都指定一下.hudi跟谁集成,那么就,直接。
数据湖数据仓库湖仓一体建设解决方案技术资料合集（15份）.zip
03-20
20220824-数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？.pdf 《湖仓集一体关键技术解读》-.pdf 出行基于湖仓一体构建数据中台的实践与思考.pdf 基于Flink+Iceberg构建企业级实时数据湖.pdf 基于...
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
hzp666的博客
04-04 2235
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。，而 Hudi 本身用的 jetty 版本是。需要 10 分钟左右，等待依赖下载完成。出现如下界面，表示 Hudi 编译成功。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
hudi-flink 模块源码编译
修破立生
03-25 1253
拉取源码 本文以 0.10.1 的源码为例 $ git clone -b release-0.10.1 https://github.com/apache/hudi.git Cloning into 'hudi'... remote: Enumerating objects: 247886, done. remote: Counting objects: 100% (29939/29939), done. remote: Compressing objects: 100% (4148/4148), done
记一次hudi源码编译
wqqlsy1990的博客
12-07 509
hadoop 3.0.0 hive 2.3.9 flink 1.15.2 kafka 2.1.0 hudi 0.12.1 2.1 把hudi对应0.12.1版本的代码下载到本地，源码地址：GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.2.2 选择0.12.1对应版本,然后点击code，最后点击 Download zip，就可以把源码下载到本地。 2.3 下载到本地后，
Hudi社区 ｜ Apache Hudi 0.12.0版本重磅发布！
Focus on Lakehouse
08-23 1285
Presto-Hudi 连接器从 PrestoDB 0.275 版本开始，用户现在可以利用原生 Hudi 连接器来查询 Hudi 表。它与 Hive 连接器中的 Hudi 支持相当。要了解有关连接器使用的更多信息，请查看prestodb 文档[1]。存档点以外的存档Hudi 支持保存点和恢复功能，这对备份和灾难恢复场景很有用。更多信息查看这里[2]。在 0.12.0 之前，给定表的归档在第一次保...
Apache Hudi 编译测试
高矮
04-27 1631
测试环境： Hudi版本：0.5.2 Spark版本：2.4.0
【IDEA】数据湖 Hudi 0.12.0 基础使用
JIE的博客 --- moon_coder
04-20 992
集群系统：CentOS 7.5。
Apache Hudi 0.12.2发布
从大数据到人工智能的博客
01-11 425
我们的目标是维护 0.12 更长时间，并通过最新的 0.12.x 版本提供稳定版本供用户迁移。此版本 (0.12.2) 是最新的 0.12 版本。
Hudi 0.12.0 搭建
04-04
Hudi是一个基于Hadoop的开源数据湖技术，可以支持大规模数据的实时流式处理和增量更新。以下是Hudi 0.12.0的搭建步骤。 1. 安装Hadoop和Spark 首先需要安装Hadoop和Spark，这里不再赘述。 2. 下载Hudi 从Hudi...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值