Hudi第一章：编译安装

最新推荐文章于 2024-07-03 08:46:10 发布
最新推荐文章于 2024-07-03 08:46:10 发布
阅读量599 收藏 4
点赞数
分类专栏： Hudi学习专栏 文章标签： hudi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50835854/article/details/133215824
版权

系列文章目录

Hudi第一章：编译安装

文章目录

前言

Apache Hudi（发音为“连帽衫”）是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、 和并发性，同时将数据保留为开源文件格式。

Apache Hudi 不仅非常适合流式处理工作负载，而且还允许您创建高效的增量批处理管道。 阅读文档以获取更多用例说明，并查看谁在使用 Hudi，以了解一些 包括Uber、亚马逊、字节跳动、Robinhood等在内的世界上最大的数据湖正在与Hudi一起改造他们的生产数据湖。

Apache Hudi可以在任何云存储平台上轻松使用。 Hudi 的高级性能优化，使分析工作负载更快 流行的查询引擎包括Apache Spark，Flink，Presto，Trino，Hive等。

这时官方对Hudi的定义，机翻的看看就写了。

一、环境准备

一切资料可在尚硅谷拼台下载

1.JDK

Hudi官方要求最低是jdk8，安装方法可以去看hadoop专栏。
jdk安装

2.Maven

尚硅谷的教程建议是3.6.1，但我不知道为什么会失败，后来换成了3.8.8编译成功。
Maven-3.8.8

1.上传并解压。

tar -xvf apache-maven-3.8.8-bin.tar.gz -C /opt/module/
mv /opt/module/apache-maven-3.8.8/ /opt/module/maven-3.8.8/

2.修改源

vim /opt/module/maven-3.8.8/conf/settings.xml

将一下内容添加

<!-- 添加阿里云镜像-->
<mirror>
    <id>aliyunmaven</id>
    <mirrorOf>*</mirrorOf>
    <name>阿里云公共仓库</name>
    <url>https://maven.aliyun.com/repository/public</url>
</mirror>

放入mirrors标签中。
在这里插入图片描述

3.添加环境变量

sudo vim /etc/profile.d/my_env.sh
在后边追加Maven的环境变量

#MAVEN_HOME
export MAVEN_HOME=/opt/module/maven-3.8.8
export PATH=$PATH:$MAVEN_HOME/bin

测试一下

source /etc/profile.d/my_env.sh
mvn -v

在这里插入图片描述

二、hudi编译

1.上传解压

tar -xvf /opt/software/hudi-0.12.0.src.tgz -C /opt/software

在这里插入图片描述

2.修改pom

1.添加仓库

一定要放在repositorys标签中的最前面

<repository>
  <id>central</id>
  <url>https://maven.aliyun.com/repository/central</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>true</enabled>
  </snapshots>
</repository>

在这里插入图片描述

2.修改依赖的组件版本

<hadoop.version>3.1.3</hadoop.version>
<hive.version>3.1.2</hive.version>
在这里插入图片描述

2.修改源码兼容hadoop3

vim /opt/software/hudi-0.12.0/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java

在这里插入图片描述

3.手动安装Kafka依赖

1.上传jar包

在这里插入图片描述

2.install到maven本地仓库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

4.解决spark模块依赖冲突

1.修改hudi-spark-bundle的pom文件

vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml
以箭头为表示，修改对应的pom

      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

整个添加

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

在这里插入图片描述

2.修改hudi-utilities-bundle的pom文件

vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>

在这里插入图片描述

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

在这里插入图片描述
整个添加。

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

5.编译hudi

在根目录进行编译
在这里插入图片描述

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.3 -Pflink-bundle-shade-hive3

编译速度取决于网络和计算机性能，反正时间挺长的。
可以稍微将内存调大一点避免内存不足。

在这里插入图片描述

6.hudi测试

在这里插入图片描述

hudi-cli/hudi-cli.sh

在这里插入图片描述

总结

至此hudi的编译安装完成，可以再虚拟机打一张快照。

超哥--
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
hudi编译失败，不能通过maven自动下载的jar包
10-06
hudi编译失败，不能通过maven自动下载的jar包，包括: pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar, kafka-schema-registry-client-5.3.4.jar,kafka-avro-serializer-5.3.4.jar,common-utils-5.3.4.jar,common-...
Hudi最强指南 — Hudi的安装部署（Linux）
2301_78038072的博客
03-26 4045
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
大数据技术数据湖Hudi 视频教程 下载
最新发布
2401_84572204的博客
07-03 15
35_Hudi集成Spark_SQL方式_更新数据_MergeInto.mp4。28_Hudi集成Spark_Shell方式_查询数据&文件命名源码.mp4。29_Hudi集成Spark_Shell方式_更新数据&时间旅行查询.mp4。49_Hudi集成Flink_sql-client_插入&查询&更新.mp4。31_Hudi集成Spark_Shell方式_删除数据&覆盖数据.mp4。34_Hudi集成Spark_SQL方式_更新数据_Update.mp4。
Hudi第四章：集成Hive
weixin_50835854的博客
10-17 482
本来关于Flink还有一些内容，但剩下的我了解过之后，觉得并不是很常用，而且 比较杂，所以还是决定需要的时候再学习吧。hudi的内容暂时就到这里，学习的过程中觉得hudi的技术还不是很成熟，很多地方的依赖需要自己修改，所以这次就不再进行太深层次的学习了。
Hudi第二章：集成Spark
weixin_50835854的博客
09-30 776
Hudi可以使用Spark作为搜索引擎。我们写博客记录一下，不知道一次能不能写完。这一次就写到这里，东西比较多，关于Spark的东西还要在写一次。
Hudi第三章：集成Flink
weixin_50835854的博客
10-09 402
之前的两次博客学习了hudi和spark的集成，现在我们来学习hudi和flink的集成。flink第一次就先写到这里剩下的还要在写一次。
Hudi第二章：集成Spark(二)
weixin_50835854的博客
10-01 678
这次我们将hudi集成Spark补充完整。课程后边其实还有一些调优的内容，想了想还是没有写下了，用的时候再说吧。
Hudi数据湖技术引领大数据新风口(二)编译安装
Maynor的博客
07-25 242
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip。（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。也可以从github下载：https://github.com/apache/hudi/将hudi-0.12.0.src.tgz上传到/opt/software，并解压。（1）修改setting.xml，指定为阿里仓库地址。(2）修改依赖的组件版本。
Hudi 0.10.1 编译使用
gg1314723的博客
04-16 3577
第一章 Hudi 框架之 0.10.1 编译 第一章 Hudi框架之 0.10.1 编译 文章目录第一章 Hudi 框架之 0.10.1 编译前言一、Hudi源码下载1.官网下载2.github获取源码二、编译步骤1.下载Kafka相关依赖2.根目录打包3.修改Pom.xml文件3.1在 include位置 添加3.2 在profile位置修改flink-bundle-shade-hive3添加hive-standalone-metastore 依赖4.打包 bundle jar总结 前言 使用hudi
尚硅谷大数据技术-数据湖Hudi视频教程-笔记01【概述、编译安装】
upward
01-03 661
尚硅谷大数据技术-数据湖Hudi视频教程-笔记01
Hudi的应用（2）
qq_43520412的博客
09-12 252
（1）元数据：.hoodie目录对应着表的元数据信息，包括表的版本管理（Timeline）、归档目录（存放过时的instant也就是版本），一个instant记录了一次提交（commit）的行为、时间戳和状态，Hudi以时间轴的形式维护了在数据集上执行的所有操作的元数据；（4）如果是 update 消息，写对应的 file group + file slice，直接 append 最新的 log file（如果碰巧是当前最小的小文件，会 merge base file，生成新的 file slice）
Hudi集成Flink的编译jar包
01-18
Hudi集成Flink的编译jar包，在使用Flink将数据写入到Hudi时，需要手动将此包导入到Maven中，这样在代码中就能直接将数据写入到Hudi中了。 Hadoop版本：3.1.3 Flink版本：1.13.6 Scala版本：2.12 Hudi版本：0.12.0 ...
hudi0.11.0、flink1.14.4、spark3.2.1编译
05-27
基于hudi0.11.0、flink1.14.4、spark3.2.1编译。有需要的自行下载
spark_hudi_template:与Spark Hudi交往
04-14
在Spark和大数据处理领域，Apache Hudi是一款非常重要的数据湖工具，它提供了高效的数据更新、查询和管理功能。本教程将深入探讨如何在Spark 3.1环境下与Hudi进行交互，以及它与Hive、Delta Lake和Glacier等其他数据...
hudi-0.12.0编译好的包
07-18
对标版本： hadoop3 spark3.3 直接可以使用，解决了一些bug
EMR-Hudi-Workshop:EMR Hudi工作坊内容
05-11
EMR-Hudi-Workshop EMR Hudi工作坊内容
hudi：大数据的增量和增量处理
02-16
Apache Hudi（发音为Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS（云存储，HDFS或任何Hadoop FileSystem兼容存储）上的大型分析数据集的存储。 特征 支持快速插入索引的Upsert 通过回滚...
Hudi Upsert 原理详解：17张图带你掌握
Apache Hudi 是一个用于大数据批处理和实时分析的数据湖框架，它优化了在HDFS（Hadoop 分布式文件系统）或对象存储上的数据更新过程。Hudi 的核心特性之一就是 Upsert 功能，它允许在数据集上进行插入和更新操作，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值