【Hudi数据湖-1-Hudi编译】

已于 2023-01-09 15:58:26 修改
阅读量315 收藏
点赞数
文章标签： 大数据 数据仓库
于 2022-12-29 14:11:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38136584/article/details/128476360
版权

Hudi数据湖-1-Hudi编译

Apache Hudi（Hadoop Upserts Delete and Incremental）

1.Hudi是什么

  1. 由Uber公司开发并开源的Data Lakes解决方案，是下一代数仓解决方案，提供了搞笑对的upsert和近实时更新；
  2. 核心特性：
    • 开放性：上游支持多种数据源格式，下游查询端支持多种查询引擎。
    • 事物支持：支持在文件存储布局上做更新
    • 基于ACID语义的增量处理：增量ETL处理，由之前的天级别更新优化为分钟级别更新
    • 智能化调度：自动管理小文件
  3. 使用场景：
    • 近实时摄取
    • 近实时分析
    • 增量处理管道
    • 增量导出

2.Hudi架构图

在这里插入图片描述

3.Hudi特性

  • 可插拔索引机制，支持快速Upsert/Delete
  • 支持增量拉取表变更以进行处理
  • 支持事物提交及回滚，并发控制
  • 支持Spark、Presto、Trino、Hive、Flink等计算引擎的SQL读写。
  • 自动管理小文件，自动进行数据聚簇，压缩，清理（定时清理）
  • 流式摄入，内置CDC源和工具。
  • 内置可扩展存储访问的元数据追踪。
  • 向后兼容的方式实现表结构变更的支持。

4.Hudi使用场景

  1. 近实时写入
    • 减少碎片化工具的使用
    • CDC增量导入RDBMS数据
    • 限制小文件的大小和数量
  2. 近实时分析
    • 相对于秒级存储（Druid,OpenTSDB）,节省资源。
    • 提供分钟级时效性，支持更高效的查询。
  3. 增量pipeline
    • 区分arrivetime和 event time 处理延迟数据。
    • 更短的调度interval,减少端到端延迟（小时->分钟）=> Incremental Processing.
  4. 增量导出
    • 替代部分Kafka的场景，数据导出到在线服务存储。elasticsearch

5.编译安装

hudi针对其他组件的兼容性:百度 “hudi 0.11/0.12 release”

组件版本
Hadoop3.1.3
Hive3.1.2
Flink1.13.6 ,scala-2.12
Spark3.2.2,scala-2.12

1.maven的安装，在linux服务器上

1）安装Maven
（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名

tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/module/
mv apache-maven-3.6.1 maven-3.6.1

（2）添加环境变量到/etc/profile中

sudo vim /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/module/maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin

（3）测试安装结果

source /etc/profile
mvn -v 验证是都成功

2）修改为阿里镜像
（1）修改setting.xml，指定为阿里仓库地址

vim /opt/module/maven-3.6.1/conf/settings.xml 

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

2.编译Hudi，解决与Hadoop以及Hive版本兼容性问题

  • 1.上传源码包
    将hudi-0.12.0.src.tgz上传到/opt/software，并解压
tar -zxvf /opt/software/hudi-0.12.0.src.tgz -C /opt/software

也可以从github下载：https://github.com/apache/hudi/

  • 2.修改pom文件
    vim /opt/software/hudi-0.12.0/pom.xml
    1）新增repository加速依赖下载
    <repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

2）修改依赖的组件版本

<hadoop.version>3.1.3</hadoop.version>
<hive.version>3.1.2</hive.version>

在这里插入图片描述

  • 3.修改源码兼容hadoop3
    Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码：
vim /opt/software/hudi-0.12.0/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java

修改第110行，原先只有一个参数，添加第二个参数null：
在这里插入图片描述
否则会因为hadoop2.x和3.x版本兼容问题，报错如下：
在这里插入图片描述

3.编译Hudi，解决与Kafka依赖问题

有几个kafka的依赖需要手动安装，否则编译报错如下：
在这里插入图片描述
1）下载jar包
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip
解压后找到以下jar包，上传服务器hadoop1

common-config-5.3.4.jar
common-utils-5.3.4.jar
kafka-avro-serializer-5.3.4.jar
kafka-schema-registry-client-5.3.4.jar

2）install到maven本地仓库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

4.编译Hudi，排除jetty问题，解决与Spark模块依赖冲突问题

    1. 解决spark模块依赖冲突
      修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
      1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
      vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml
      在382行的位置，修改如下（红色部分）：
    <!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

否则在使用spark向hudi表插入数据时，会报错如下：

java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V

在这里插入图片描述
出现上述问题原因：依赖冲突

  • 1.spark写入数据的时候，依赖hive，hive我们已经修改为3.1.2版本，本身携带了jetty 0.9.3。
  • 2.hudi的common模块也携带了jetty 0.9.4。
  • 3.上述两者的jetty出现了依赖冲突问题，需要手动解决。

4.编译Hudi，排除jetty问题，解决与Detla Streamer模块依赖冲突问题

  • 修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml

在405行的位置，修改如下：

    <!-- Hoodie -->
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-client-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>


<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。

5.编译Hudi

  • 1.执行编译命令
  • mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.3 -Pflink-bundle-shade-hive3
  • 2.编译成功进入客户端
    在这里插入图片描述在这里插入图片描述

6.获取编译成功的不同模块的jar

在这里插入图片描述

Apache Minor Trend
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hudi 系列（二）- 编译 hudi
韩江雪de 小屋
06-01 1468
编译 hudi 如果是第一次编译 hudi 会花很长时间，maven 本地仓库为空的情况下，我花了40分钟（视网络环境）。编译步骤如下： 下载 releace 源代码，https://hudi.apache.org/releases，现在的最新版本是0.7.0 。 安装 maven ，maven 的版本选择 3.6.3 。 配置 maven 的 setting.xml 为中央仓库增加里面增加 aliyun 的 mirror 仓库 。 修改 hudi 项目 pom.xml 里面增加 aliy...
Hudi的介绍与安装编译
dafsq的博客
05-06 1500
Hudi的介绍与安装编译
数据湖之Hudi（5）：Apache Hudi 的编译
yang_shibiao的博客
02-13 3192
目录 0. 相关文章链接 1. Hudi源码包下载 2. 基于CentOS7编译Hudi（默认Spark等组件版本） 3. 基于windows编译Hudi（默认Spark等组件版本） 4. 基于windows编译Hudi（选择Spark等组件版本） 5. 基于CentOS7编译Hudi（选择Spark等组件版本） 6. 基于windows编译Hudi报错解决方案 7. 各Hudi编译后Jar包下载地址 0. 相关文章链接 大数据基础知识点 文章汇总 1. Hudi源码包下载 ...
Hadoop 与 Hive 兼容性问题（一）部署Hadoop与Hive
weixin_45417821的博客
10-12 2783
1）把 apache-hive-3.1.3-bin.tar.gz上传到 linux 的/opt/software 目录下。2）解压 apache-hive-3.1.3-bin.tar.gz 到/opt/module目录下面。5）解决日志 Jar 包冲突，进入/opt/module/hive/lib 目录（有冲突再做）3）修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive。在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件。会报如下异常：暂且搁置。
Hudi编译适配hadoop3.2.4
渡江客涂鸦板
10-24 3592
本文讲解hudi如何编译适配Hadoop3.x，其中hudi采用版本0.12.1，hadoop采用版本3.2.4。
original-hudi-hadoop-mr-bundle-0.9.0.jar
04-29
flink1.12 + hudi 0.9.0 编译后jar包
hudi编译失败，不能通过maven自动下载的jar包
10-06
hudi编译失败，不能通过maven自动下载的jar包，包括: pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar, kafka-schema-registry-client-5.3.4.jar,kafka-avro-serializer-5.3.4.jar,common-utils-5.3.4.jar,common-...
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
hudi-flink1.17-bundle-0.14.0-sources.jar
最新发布
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-flink1.17-bundle-0.14.0.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar
11-27
spark读取hudi，hudi版本0.10
hudi-flink-bundle_2.11-0.10.0-SNAPSHOT.jar
12-31
hudi-flink-bundle_2.11-0.10.0包
大数据数据湖技术Hudi0.12.0版本源码编译
不以物喜的博客
05-24 1123
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。 Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。 Apache Hudi可以轻松地在任何云存储平台上使用。
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客 --- moon_coder
12-11 5362
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
qq_44665283的博客
02-28 2708
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
HDFS-Spark-Hudi环境的搭建及测试
老张的哲学
07-10 1132
由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。 2.2 localhost免密登录 3. Hadoop安装 Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
Apache+Hudi入门指南（含代码示例）
h335146502的专栏
02-24 1万+
1. 什么是Apache Hudi 一个spark 库 大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式) 使用Hudi的优点 使用Bloomfilter机制+二次查找，可快速确定记录是更新还是新增 更新范围小，是文件级别，不是表级别 文件大小与hdfs的Blocksize保持一致 数据文件使用parquet格式，充分利用列存的优势（drema...
Hudi 0.10.1 编译使用
gg1314723的博客
04-16 3557
第一章 Hudi 框架之 0.10.1 编译 第一章 Hudi框架之 0.10.1 编译 文章目录第一章 Hudi 框架之 0.10.1 编译前言一、Hudi源码下载1.官网下载2.github获取源码二、编译步骤1.下载Kafka相关依赖2.根目录打包3.修改Pom.xml文件3.1在 include位置 添加3.2 在profile位置修改flink-bundle-shade-hive3添加hive-standalone-metastore 依赖4.打包 bundle jar总结 前言 使用hudi
Apache Hudi 详解
热门推荐
风中云彩的博客
12-26 2万+
1. 什么是Hudi？ Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。 读优化表的...
cdh6环境编译hudi-0.9.0
06-06
Hudi是一个基于Apache Hadoop的可伸缩数据湖解决方案，通过在数据湖中为实时和离线数据引入新的数据操作能力，提高数据湖的访问和管理效率。而将Hudi-0.9.0编译到cdh6环境中，可以提供更稳定和高效的运行。下面是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值