数据湖仓一体(一) 编译hudi

已于 2024-07-17 21:19:03 修改
阅读量830 收藏 7
点赞数 25
分类专栏： 数据湖 文章标签： 大数据 数据湖
于 2024-07-12 11:04:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mark_wu2000/article/details/140372282
版权

一、大数据组件版本信息

  • hudi-0.14.1
  • zookeeper-3.5.7
  • seatunnel-2.3.4
  • kafka_2.12-3.5.2
  • hadoop-3.3.5
  • mysql-5.7.28
  • apache-hive-3.1.3
  • spark-3.3.1
  • flink-1.17.2
  • apache-dolphinscheduler-3.1.9

二、数据湖仓架构

三、数据湖仓组件部署规划

node106node107node108node109node110

ZK

ZK

ZK

seatunnel

seatunnel

seatunnel

kafka

kafka

kafka

RM

RM

NM

NM

NM

NN

NN

DN

DN

DN

JN

JN

mysql

hive

hive

hive

spark

spark

spark

flink

flink

flink

DS

DS

DS

四、编译hudi

hudi-0.14.1版本需要hbase的hbase-server-2.4.9.jar,原来的jar用的是hadoop2,需要升级到hadoop3

 上传hbase安装包到/opt/software目录并解压

[bigdata@node106 software]$ tar -zxvf hbase-2.4.9-src.tar.gz -C /opt/services/

编译hbase

[bigdata@node106 software]$ mvn clean package -DskipTests -Dhadoop.profile=3.0 -Dhadoop-three.version=3.3.5

hbase-server-2.4.9.jar上传到本地库

[bigdata@node106 target]$ mvn install:install-file -Dfile=hbase-server-2.4.9.jar -DgroupId=org.apache.hbase -DartifactId=hbase-server -Dversion=2.4.9 -Dpackaging=jar

hudi源码包上传到/opt/software目录并解压

bigdata@node106 software]$ tar -zxvf  hudi-0.14.1.tar.gz -C /opt/services/

修改/opt/services/hudi-0.14.1/pom.xml文件,修改需要的版本

<hadoop.version>3.3.5</hadoop.version>
<hive.version>3.1.3</hive.version>

修改/opt/services/hudi-0.14.1/packaging/hudi-spark-bundle/pom.xml文件

在<!-- Hive -->和<!-- zookeeper -->之间

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
       <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
			</exclusions>
    </dependency>
    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <!-- zookeeper -->

修改/opt/services/hudi-0.14.1/packaging/hudi-utilities-bundle/pom.xml文件

在<!-- Hive -->和<!-- zookeeper -->之间

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.apache.hbase</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
       <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.apache.hbase</groupId>
          <artifactId>*</artifactId>
        </exclusion>
         <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
			</exclusions>
    </dependency>

    <dependency>
      <groupId>org.apache.htrace</groupId>
      <artifactId>htrace-core</artifactId>
      <version>${htrace.version}</version>
      <scope>compile</scope>
    </dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>


    <!-- zookeeper -->

指定需要的版本进行编译

[bigdata@node106 software]$ mvn clean package -DskipTests -Dspark3.3 -Dflink1.17 -Dscala-2.12 -Dhadoop.version=3.3.5 -Pflink-bundle-shade-hive3

Two thousand years later.....

mark_wu2000
关注
专栏目录
Hudi0.14.0最新编译（修订版）
跟着大数据和AI去旅行
01-15 417
Hudi0.14.0 最新编译（修订版）
hudi-flink 模块源码编译
修破立生
03-25 1245
拉取源码 本文以 0.10.1 的源码为例 $ git clone -b release-0.10.1 https://github.com/apache/hudi.git Cloning into 'hudi'... remote: Enumerating objects: 247886, done. remote: Counting objects: 100% (29939/29939), done. remote: Compressing objects: 100% (4148/4148), done
Hudi集成Flink
互联网知识分享
08-16 180
它是一个用于处理数据增量更新、删除和查询的库，旨在提供更高效和灵活的数据管理。的过程中，有一些参数需要进行配置，以实现正确的数据读写操作。表，实现对数据的处理和管理。除了以上参数外，还可以根据具体的需求进行其他参数的配置，以满足不同的业务需求。: Hive表的名称。如果启用了Hive同步，需要指定Hive表的名称。的集成，从而实现实时的数据湖处理和管理。是一个开源的流处理框架，它提供了分布式流处理和批处理的功能。的过程，包括原理解说、参数介绍和完整的代码案例。的原理解说、参数介绍和完整的代码案例。
hudi 编译
地球人是我哈的博客
10-12 2053
编译hudi 下载hudi git clone https://github.com/apache/incubator-hudi.git && cd incubator-hudi 编译 mvn clean install -DskipTests -DskipITs 注意: 这一步有可能会报错，我在编译的时候，因为hudi源码中hudi-utilities下的pom文件中有四...
Hudi编译
cts618
05-17 109
https://note.youdao.com/share/?id=8f391b9a188bdbb22e0ca0709eaf06fd&type=notebook
【Hudi】编译
weixin_45746689的博客
06-11 881
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip。(1)上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码。（1）修改setting.xml，指定为阿里仓库地址。
湖仓一体介绍及spark操作hudi
chenlei0520的博客
02-08 1178
湖仓一体介绍及spark操作hudi
数据湖架构开发-Hudi入门教程
Aa112233aA1的博客
01-24 2649
当下大数据技术在工业环境中应用，主要构建离线数仓和实时数仓，进行大规模数据管理和分析。为了更好管理数据，出现数据湖DataLake：用来存储大量的原始数据。当下最流行数据湖框架Apache Hudi，使用HDFS存储数据，集成Spark、Flink、Hive等分析数据，逐步在大中型公司中使用，构建湖仓一体化架构。为了让大家更好学习使用Hudi，基于0.9.0版本，推出本套课程，从数据湖概念，到集成Spark和Flink，最后整合实际需求案例，由0到1深入浅出剖析Hudi使用，整个课程分为：基础入门篇、应用进
Hudi-Presto 在 News Break 数据平台的尝试-关立胜
08-01
在News Break的数据平台中，Hudi和Presto被整合以构建一个现代化的数据架构，以实现快速摄入和统一模式下的查询。下面是关于这个尝试的详细分析： 首先，News Break的数据架构经历了从传统的CDH（Cloudera Data Hub...
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
百信银行基于 Apache Hudi 实时数据湖演进方案
阿里云云栖号
05-14 1007
简介：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。 本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。内容包括： 背景 百信银行基于 Flink 的实时计算平台设计与实践 百信银行实时计算平台与实时数据湖的集成实践 百信银行实时数据湖的未来 总结 一、背景 百信银行，全称为 “中信百信银.
【大数据】Flink CDC 实时同步mysql数据
最新发布
congge
10-07 5151
Flink CDC 实时同步mysql数据
Hudi 系列（二）- 编译 hudi
韩江雪de 小屋
06-01 1529
编译 hudi 如果是第一次编译 hudi 会花很长时间，maven 本地仓库为空的情况下，我花了40分钟（视网络环境）。编译步骤如下： 下载 releace 源代码，https://hudi.apache.org/releases，现在的最新版本是0.7.0 。 安装 maven ，maven 的版本选择 3.6.3 。 配置 maven 的 setting.xml 为中央仓库增加里面增加 aliyun 的 mirror 仓库 。 修改 hudi 项目 pom.xml 里面增加 aliy...
Hudi编译安装
weixin_45417821的博客
10-20 2536
（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。将hudi-0.12.0.src.tgz上传到/opt/software，并解压。（1）修改setting.xml，指定为阿里仓库地址。1）新增repository加速依赖下载。2）修改依赖的组件版本。
hudi-0.10.0编译
qq_43785075的博客
02-13 1271
Hudi-0.10.0的编译一、系统环境二、编译过程三、小结 一、系统环境 操作系统 Linux 3.10.0-862.el7.x86_64 #1 SMP 2018 x86_64 x86_64 x86_64 GNU/Linux hadoop版本 hadoop-3.1.3 maven版本 maven-3.8.4 maven的镜像源 <mirrors> <mirror> <id>alimaven</id> &
Hudi（2）：Hudi的编译和安装
yang_shibiao的博客
12-27 4682
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml（在405行的位置，修改如下（红色部分））修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
Hudi的介绍与安装编译
dafsq的博客
05-06 1594
Hudi的介绍与安装编译
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值