大数据数据湖技术Hudi0.12.0版本源码编译

最新推荐文章于 2023-08-04 16:47:17 发布
最新推荐文章于 2023-08-04 16:47:17 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： 大数据组件 离线安装编译 文章标签： 大数据 hadoop hudi 数据湖 湖仓一体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Keyuchen_01/article/details/130730274
版权

0 介绍

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。
Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。
Apache Hudi可以轻松地在任何云存储平台上使用。Hudi的高级性能优化，使分析工作负载更快的任何流行的查询引擎，包括Apache Spark、Flink、Presto、Trino、Hive等。

1 环境准备

1.1 安装maven

要求maven版本3.3.1版本及以上
在这里插入图片描述
修改setting.xml，指定为阿里仓库地址

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

1.2 安装JDK

要求jdk8及以上的版本
在这里插入图片描述

1.3 Git

主要用于获取hudi源码

1.4 下载hudi源码

https://github.com/apache/hudi/releases/

2 Hudi源码编译

2.1 修改pom文件

修改hudi-0.12.0/pom.xml文件
1）新增repository加速依赖下载

<repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

2）修改依赖的组件版本
根据需要适配的组件修改相应的版本号，默认的hadoop版本为2.10.1。hive默认版本为2.3.1，修改为当前自己使用的版本
在这里插入图片描述

2.2 修改代码

Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码：
hudi-0.12.0/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java
在这里插入图片描述
否则会因为hadoop2.x和3.x版本兼容问题.

2.3 修改kafka依赖

有几个kafka的依赖需要手动安装，否则编译报错如下：

1)下载jar包
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip
解压后找到以下jar包，上传服务器

common-config-5.3.4.jar
common-utils-5.3.4.jar
kafka-avro-serializer-5.3.4.jar
kafka-schema-registry-client-5.3.4.jar

2）install到maven本地仓库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

2.4 解决spark模块依赖冲突

修改了Hive版本为3.1.0，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突
1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml
在280行的位置，添加内容如下：

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

hive-service

在这里插入图片描述
hive-jdbc
在这里插入图片描述
hive-metastore
在这里插入图片描述
hive-common
在这里插入图片描述
最后新增
在这里插入图片描述
2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml

<!-- Hoodie -->
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-client-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>


<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

hive-service
在这里插入图片描述
hive-jdbc
在这里插入图片描述
hive-metastore
在这里插入图片描述
hive-common
在这里插入图片描述
新增内容
在这里插入图片描述

2.5 执行编译

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.1 -Pflink-bundle-shade-hive3

注：这里通过-D参数指定spark/flink组件版本，指定scala版本

在这里插入图片描述

3 验证

编译成功后，进入hudi-cli说明成功
在这里插入图片描述
编译完成后，相关的包在packaging目录的各个模块中：
在这里插入图片描述

不以物喜2020
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
hzp666的博客
04-04 2038
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。，而 Hudi 本身用的 jetty 版本是。需要 10 分钟左右，等待依赖下载完成。出现如下界面，表示 Hudi 编译成功。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客 --- moon_coder
12-11 5385
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
qq_44665283的博客
02-28 2721
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
Hudi（2）：Hudi的编译和安装
yang_shibiao的博客
12-27 4315
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml（在405行的位置，修改如下（红色部分））修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
Hudi 0.10.1 编译使用
gg1314723的博客
04-16 3563
第一章 Hudi 框架之 0.10.1 编译 第一章 Hudi框架之 0.10.1 编译 文章目录第一章 Hudi 框架之 0.10.1 编译前言一、Hudi源码下载1.官网下载2.github获取源码二、编译步骤1.下载Kafka相关依赖2.根目录打包3.修改Pom.xml文件3.1在 include位置 添加3.2 在profile位置修改flink-bundle-shade-hive3添加hive-standalone-metastore 依赖4.打包 bundle jar总结 前言 使用hudi
数据湖Hudi操作文档和实例代码
06-03
这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中...
数据湖存储格式Hudi原理与实践.pdf
10-03
数据湖存储格式Hudi原理与实践是当前大数据时代的热门话题。Hudi是一种基于Apache的数据湖存储格式，旨在解决数据湖存储的各种挑战，如数据管理复杂、实时性需求、半结构化数据处理等问题。Hudi的价值在于其提供了一...
数据湖架构开发Hudi 2022年
04-08
数据湖架构开发Hudi 内容包括： 1. hudi基础入门视频和资源 2. Hudi 应用进阶篇（Spark 集成）视频 3.Hudi 应用进阶篇（Flink 集成）视频 适用于所有从事大数据行业人员，从小白或相关知识提升 从数据湖相关基础...
数据湖Hudi Flink集成包0.10.1 for Scala2.11
05-13
HUDI数据湖，俩个核心两点： 1、采用读时模式设计，支持动态schema，动态表结构变更。（对比写时模式） 2、标准化统一和解决了大规模的数据存储问题。 3、高容错的任务调度管理策略，不用担心job失败重跑，也不用...
hudi-0.12.0编译好的包
07-18
对标版本： hadoop3 spark3.3 直接可以使用，解决了一些bug
hudi-branch-ci
03-08
阿帕奇·胡迪（Apache Hudi） Apache Hudi（发音为Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS（云存储，HDFS或任何Hadoop FileSystem兼容存储）上的大型分析数据集的存储。 特征 快速，可插入索引的Upsert支持 通过回滚支持以原子方式发布数据 编写器和查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小，布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型： 快照查询-使用基于列和基于行的存储（例如 + ）的组合，提供实时数据的快照查询。 增量查询-提供变更流，其中包含在某个时间点之后插入或更新的记录。 读取优化查询-通过纯列存储（例如 ）提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构
Hudi 源码编译安装
最新发布
shangjg3的博客
08-04 190
1.安装前准备1.1 环境准备1.2 安装maven配置环境变量修改maven本地仓库配置和阿里云maven远程仓库。
17张图带你彻底搞懂hudi upsert源码
h335146502的专栏
05-15 5839
前言 ​ 如果要深入了解apache hudi技术的应用或是性能调优，那么明白源码中的原理对我们会有很大的帮助。在apache hudi 中upsert 是他的核心功能之一，主要完成增量数据在hdfs上的修改，并可以支持事务。在hive中修改数据需要重新分区或重新整个表，但是对于hudi更新可以是文件级别的重写或是数据先进行追加后续在重写，对比Hive 大大的提高了更新性能。upsert支持两种模式的写入copy on write和merge on read ，下面本文将介绍Apache Hu
数据湖架构之Hudi编译篇
敏叔
06-18 1352
说起编译hudi，从第一遍过之后，再回过头来看，发现就是第一遍不熟悉，出现的一切问题可以总结为maven仓库没配置好。一开始我只是配置了阿里云仓库，但是后面不断报错，然后百度谷歌找原因，再调整配置，再编译，最后就成功了，所以整体来说编译不复杂，只要配置正确，那我把最后可以通过的配置贴出来，这也是我觉得可以帮助到大部分同学的地方。hudi迭代还是比较快的，因为同时也依赖了hadoop和spark，为了组合使用，我使用的是0.9.0版本，对应地址：[https://hudi.apache.org/release
Hudi学习01 -- Hudi简介及编译安装
patrick_big_data的博客
12-30 1522
hudi编译和hudi介绍
Flink集成Hudi实践
zhyaoeng
10-31 646
数据湖Hudi集成Flink
Apache Hudi 0.12.2发布
从大数据到人工智能的博客
01-11 389
我们的目标是维护 0.12 更长时间，并通过最新的 0.12.x 版本提供稳定版本供用户迁移。此版本 (0.12.2) 是最新的 0.12 版本。
Apache Hudi 0.12.0版本发布
渡江客涂鸦板
10-16 2945
Apache Hudi 0.12.0版本发布
数据湖之Hudi（5）：Apache Hudi 的编译
yang_shibiao的博客
02-13 3219
目录 0. 相关文章链接 1. Hudi源码包下载 2. 基于CentOS7编译Hudi（默认Spark等组件版本） 3. 基于windows编译Hudi（默认Spark等组件版本） 4. 基于windows编译Hudi（选择Spark等组件版本） 5. 基于CentOS7编译Hudi（选择Spark等组件版本） 6. 基于windows编译Hudi报错解决方案 7. 各Hudi编译后Jar包下载地址 0. 相关文章链接 大数据基础知识点 文章汇总 1. Hudi源码包下载 ...
Hudi 0.12.0 搭建
04-04
Hudi是一个基于Hadoop的开源数据湖技术，可以支持大规模数据的实时流式处理和增量更新。以下是Hudi 0.12.0的搭建步骤。 1. 安装Hadoop和Spark 首先需要安装Hadoop和Spark，这里不再赘述。 2. 下载Hudi 从Hudi官方网站（https://hudi.apache.org/）下载Hudi的二进制文件。 3. 配置Hadoop和Spark 将Hadoop和Spark的配置文件放置在Hudi的conf目录下。 4. 配置Hudi 在Hudi的conf目录下创建hudi-site.xml文件，并添加以下内容： ``` <configuration> <property> <name>hoodie.write.concurrency.mode</name> <value>optimistic_concurrency_control</value> <description> Concurrency control mode to use for writes. Supported modes are: optimistic_concurrency_control, pessimistic_concurrency_control </description> </property> <property> <name>hoodie.datasource.write.recordkey.field</name> <value>id</value> <description> The field in the record that uniquely identifies a record. If not set, the record will be assigned a random UUID as the key. </description> </property> <property> <name>hoodie.datasource.write.partitionpath.field</name> <value>date</value> <description> The field in the record that is used to determine the partition path. If not set, the partition path will be the default partition path. </description> </property> </configuration> ``` 5. 启动Hudi 使用以下命令启动Hudi： ``` ./bin/hudi-quickstart.sh ``` 6. 测试Hudi 使用以下命令运行Hudi测试： ``` ./bin/run-hoodie-quickstart.sh ``` 如果一切正常，将会在终端中输出相关信息。 以上是Hudi 0.12.0的搭建步骤，希望对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值