Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2

已于 2024-02-04 10:18:30 修改
阅读量1.9k 收藏 25
点赞数 1
分类专栏： spark Hudi 文章标签： 大数据 hive hudi spark
于 2023-04-04 10:40:12 首次发布
原文链接：https://cn.bing.com/search?q=hudi%E9%9B%86%E6%88%90hive&qs=n&form=QBRE&sp=-1&lq=0&pq=hudi%E9%9B%86%E6%88%90hive&sc=1-10&sk=&cvid=3C192B872BEA463D9DE47C8F04509B78&ghsh=0&ghacc=0&ghpl=
版权
spark 同时被 2 个专栏收录
54 篇文章 8 订阅
订阅专栏
Hudi
13 篇文章 2 订阅
订阅专栏

Hudi 搭建  https://blog.csdn.net/weixin_46389691/article/details/128276527

集群其它生态安装与配置：

环境准备

安装 Hudi 前我的集群版本如下：

组件版本号
Hadoop3.1.3
Spark3.2.2
Hive3.1.2
JDK1.8
MySQL5.7

注意，开始安装 Hudi 前请先检索你的集群，选择合适的 Hudi 版本。

一、安装 Maven

我这里使用的 Maven 版本为 3.6.1。

1.解压

解压到你的指定路径中。

tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/module/

# 改个名称
mv apache-maven-3.6.1/ maven-3.6.1/
  • 1
  • 2
  • 3
  • 4

2.配置环境变量

vi /etc/profile

#MAVEN_HOME
MAVEN_HOME=/opt/module/maven-3.6.1
PATH=$PATH:$MAVEN_HOME/bin
  • 1
  • 2
  • 3
  • 4
  • 5

保存退出后注意使环境变量生效，souce /ect/profile。

输入 mvn -v 检查是否安装成功。

在这里插入图片描述

3.修改 Maven 下载源

vi $MAVEN_HOME/conf/settings.xml
  • 1

找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

二、安装 Hudi

1.解压

tar -zxvf hudi-0.12.0.src.tgz -C /opt/module/
  • 1

2.配置环境变量

vi /etc/profile

#HUDI_HOME
HUDI_HOME=/opt/module/hudi-0.12.0
  • 1
  • 2
  • 3
  • 4

保存退出后注意使环境变量生效，souce /ect/profile。

3.修改 Hudi 下载源与对应版本号

vi $HUDI_HOME/pom.xml
  • 1

找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。

<!-- 添加阿里云依赖-->
<repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

继续编辑 pom.xml 文件，修改组件的对应版本号。

4.修改源码以兼容 Hadoop3.x

Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。

vim $HUDI_HOME/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java
  • 1

在 HoodieParquetDataBlock.java 文件中的大约第 110 行中的参数中添加一个 null 值。

5. 解决 Spark 依赖冲突

我使用的 Hive 版本为 3.1.2，其携带的 jetty 版本是 0.9.3，而 Hudi 本身用的 jetty 版本是 0.9.4，存在依赖冲突，会造成编译错误。

vim $HUDI_HOME/packaging/hudi-spark-bundle/pom.xml
  • 1

解决 hive-service 依赖冲突：

在大约第 382 行。

      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-jdbc 依赖冲突：

在大约第 413 行。

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

解决 hive-metastore 依赖冲突：

在大约第 420 行。

<exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

解决 hive-common 依赖冲突：

在大约第 427 行。

   <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

增加 Hudi 配置版本的 jetty 依赖：

    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

6. 解决 Spark 向 Hudi 插入报错

vim $HUDI_HOME/packaging/hudi-utilities-bundle/pom.xml
  • 1

解决 Hudi 冲突：

大约在第 345 行

     <dependency>
       <groupId>org.apache.hudi</groupId>
       <artifactId>hudi-common</artifactId>
       <version>${project.version}</version>
      <exclusions>
         <exclusion>
           <groupId>org.eclipse.jetty</groupId>
           <artifactId>*</artifactId>
         </exclusion>
       </exclusions>
     </dependency>
     <dependency>
       <groupId>org.apache.hudi</groupId>
       <artifactId>hudi-client-common</artifactId>
       <version>${project.version}</version>
       <exclusions>
         <exclusion>
           <groupId>org.eclipse.jetty</groupId>
           <artifactId>*</artifactId>
         </exclusion>
       </exclusions>
     </dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

解决 hive-service 冲突：

大约在第 417 行

      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

解决 hive-jdbc 冲突：

大约在第 450 行

  <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-metastore 冲突：

大约在第 471 行

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>

解决 hive-common 冲突：

大约在第 496 行

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

增加 Hudi 配置版本的 jetty 依赖：

    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

7. 编译 Hudi

mvn clean package -DskipTests -Dspark3.2 -Dscala-2.12 -Dhadoop.version=3.1.3 -Pflink-bundle-shade-hive3
  • 1

需要 10 分钟左右，等待依赖下载完成。

8. 启动测试

cd $HUDI_HOME

# 启动 hudi-cli
hudi-cli/hudi-cli.sh
  • 1
  • 2
  • 3
  • 4

出现如下界面，表示 Hudi 编译成功。

编译完成后，相关的包都在 $HUDI_HOME/packaging目录下：

到此为止，Hudi 0.12.0 安装完成。

hzp666
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hudi0.11.0、flink1.14.4、spark3.2.1编译
05-27
基于hudi0.11.0、flink1.14.4、spark3.2.1编译。有需要的自行下载
Hudi安装、配置和使用————附带详细步骤
热门推荐
韩江雪de 小屋
07-06 1万+
文章目录8 Hudi配置8.1 配置环境变量8.2 脚本配置.1 kafka-source.properties.2 schema.avsc.3 sync-hive.sh.4 sync-config.sh.5 ingest-mor.sh8.3 数据入Hudi测试8.3.1 一次性入hudi8.3.2 持续入Hudi 8 Hudi配置 在Hadoop的master主节点上配置。 8.1 配置环境变量 这里使用下载好编译好的软件进行操作： 把编译好的文件放在置顶目录： cp hudi-0.8.0_yl /us
Hudi最强指南 — Hudi的安装部署（Linux）
最新发布
2301_78038072的博客
03-26 2675
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
数据湖（四）：Hudi 与 Spark 整合
wr_java的博客
04-04 381
默认 Spark 操作 Hudi 使用表类型为模式。Hudi 与 Spark 整合时有很多参数配置，可以参照Hudi 这里使用的是 0.8.0 版本，其对应使用的 Spark 版本是 2.4.3+版本Spark2.4.8 使用的 Scala 版本是 2.12 版本，虽然 2.11 也是支持的，建议使用 2.12。maven 导入包中需要保证 httpclient、httpcore 版本与集群中的 Hadoop 使用的版本一致，不然会导致通信有问题。
Hive3.1.2使用教程
waitingwere的博客
01-02 402
hive的简易搭建
hudi
03-25
Hudi（发音为“ Hoodie”）将流处理带到大数据，提供更新，删除和增量数据流。https://mirrors.tuna.tsinghua.edu.cn/apache/hudi/0.6.0/
spark_hudi_template:与Spark Hudi交往
04-14
Hive Hudi Local Spark 3.1演示 =============================== Hudi关于Spark 3.1的快速入门-本地版本 胡迪vs三角洲湖vs冰川
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客
12-11 5190
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
Hudi社区 ｜ Apache Hudi 0.12.0版本重磅发布！
Focus on Lakehouse
08-23 1181
Presto-Hudi 连接器从 PrestoDB 0.275 版本开始，用户现在可以利用原生 Hudi 连接器来查询 Hudi 表。它与 Hive 连接器中的 Hudi 支持相当。要了解有关连接器使用的更多信息，请查看prestodb 文档[1]。存档点以外的存档Hudi 支持保存点和恢复功能，这对备份和灾难恢复场景很有用。更多信息查看这里[2]。在 0.12.0 之前，给定表的归档在第一次保...
大数据数据湖技术Hudi0.12.0版本源码编译
不以物喜的博客
05-24 1110
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。 Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。 Apache Hudi可以轻松地在任何云存储平台上使用。
【IDEA】数据湖 Hudi 0.12.0 基础使用
JIE的博客
04-20 819
集群系统：CentOS 7.5。
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
hudi-spark3.2-bundle_2.12-0.11.0.jar
06-28
配合文档
数据湖Hudi.doc
10-14
数据湖资料
hudi-0.12.0.src.gz
10-26
支持快速Upsert以及可插拔的索引。 支持原子方式操作，且支持回滚。 写入和插件操作之间的快照隔离。 savepoint用户数据恢复的保存点。 使用统计信息管理文件大小和布局。 行和列的异步压缩。 具有时间线来追踪元数据血统。 通过聚类优化数据集。
hudi-spark3.2-bundle-2.12-0.12.2.jar
05-14
hudi-spark3.2-bundle_2.12-0.12.2.jar
hudi-spark-bundle.jar
04-13
hudi:0.10.1 spark:3.1.3 scala:2.12 hadoop:3.1.0 hive:3.1.0
hudi-0.12.0编译好的包
07-18
对标版本： hadoop3 spark3.3 直接可以使用，解决了一些bug
spark3.3.2集成hudi同步hive表
WangSixian12的博客
03-23 411
假设我的spark安装目录为 将 hive-site.xml 传入 目录下根据你实际的spark版本和scala版本去找对应版本的jar包 下载jar包 链接: https://repo1.maven.org/maven2/org/apache/hudi/hudi-spark3.3-bundle_2.12/0.13.0/hudi-spark3.3-bundle_2.12-0.13.0.jar把 hudi-spark3.3-bundle_2.12-0.13.0.jar 传入 目录下下载jar包 链接: ht
hudi 集成 hive
07-28
回答: Hudi可以通过与Hive的集成来实现数据的映射和操作。集成原理是通过代码方式将数据写入到HDFS目录中，并同时映射到Hive表上，这需要配置HiveServer2以通过JDBC连接Hive进行元数据操作。\[1\]如果已经存在Hudi...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值