Linux部署Hudi

已于 2024-02-04 19:17:00 修改
阅读量1k 收藏 20
点赞数 15
文章标签： linux 运维 服务器
于 2024-02-04 19:14:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeqi_ymj/article/details/136030974
版权

编译环境准备

因为Hudi对各版本有要求 所以需要按照版本来 否则会需要解决他们的依赖冲突 这个过程很麻烦

以下是我所使用的版本

Hadoop

3.1.3

Hive

3.1.2

Flink

1.13.6，scala-2.12

Spark

3.2.2，scala-2.12

首先先安装maven

maven及Hudi jar包

链接：https://pan.baidu.com/s/1OoKaSat30bsgeWAkSpWFSA?pwd=u9m9 
提取码：u9m9

上传maven安装包并解压

配置环境变量

sudo vim /etc/profile
##MAVEN_HOME
export MAVEN_HOME=/opt/module/maven
export PATH=$PATH:$MAVEN_HOME/bin
#使环境变量生效 测试安装
source /etc/profi

显示maven版本就是安装成功

mvn -v

由于此时的maven的镜像默认的是国外

下载速度会受到很大的限制 所以此时我们需要更改maven的镜像 将其修改为阿里镜像

修改setting.xml指定阿里镜像

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>central</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

Hudi会产生很多兼容性问题

所以安装完成后还要解决依赖冲突

上传并解压Hudi文件

 tar -zxvf hudi-0.12.0.src.tgz -C /opt/module/

修改pom文件的仓库地址 

修改maven之后还要修改hudi的 单独修改maven并不能解决下载速度的问题

因为Hudi的pom文件默认的还是国外的镜像仓库 在这种情况下 系统会优先使用hudi的

<repository>
  <id>nexus-aliyun</id>
  <name>nexus-aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

修改为如下

修改版本依赖

将其修改为spark版本号 我这里使用的是spark3.1.3 所以将其修改为spark3.1.3

 <!--<hadoop.version>2.10.1</hadoop.version>-->
    <hadoop.version>3.1.3</hadoop.version>
    <hive.groupid>org.apache.hive</hive.groupid>
    <!--<hive.version>2.3.1</hive.version>-->
    <hive.version>3.1.2</hive.version>

修改为以下

Hudi默认依赖的hadoop2 要兼容hadoop3 除了修改版本 还需要修改如下代码：

<repository>
  <id>nexus-aliyun</id>
  <name>nexus-aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

修改第110行 添加第二个参数null

修改为以下

手动安装kafka依赖

下载jar包

通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip

解压后找到以下jar包，上传服务器master（主节点）

jar包我放在开头的那个链接里 和maven一起

install到maven本地仓库

mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-config-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.4 -Dpackaging=jar -Dfile=./common-utils-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-avro-serializer-5.3.4.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.4 -Dpackaging=jar -Dfile=./kafka-schema-registry-client-5.3.4.jar

解决spark写入hudi的兼容性问题

注意： 此处需要修改的配置文件很多 需要细心 可以设置行号之后对配置文件进行修改

改了Hive版本为3.1.2 其携带的jetty是0.9.3 hudi本身用的0.9.4 存在依赖冲突

1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

hudi-spark-bundle的pom文件

<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${spark.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

vim /opt/module/hudi/packaging/hudi-utilities-bundle/pom.xml

hudi-utilities-bundle的pom文件

<!-- Hoodie -->
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <dependency>
      <groupId>org.apache.hudi</groupId>
      <artifactId>hudi-client-common</artifactId>
      <version>${project.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>


<!-- Hive -->
    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-service-rpc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-metastore</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>${hive.groupid}</groupId>
      <artifactId>hive-common</artifactId>
      <version>${hive.version}</version>
      <scope>${utilities.bundle.hive.scope}</scope>
      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>
</dependency>

    <!-- 增加hudi配置版本的jetty -->
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>

执行编译命令&jar包的位置

执行编译命令

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.2 -Pflink-bundle-shade-hive3

在Hudi根目录下执行如下命令 启动Hudi

hudi-cli/hudi-cli.sh

出现如下结果表示编译成功

编译完成后，相关的包在packaging目录的各个模块中：

例如 flink

需要相关的包时 只需要复制到对应jars目录

如拷贝spark包

cp /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/target/hudi-spark3.2-bundle_2.12-0.12.0.jar /opt/module/spark-3.2.2/jars

气温零下八度
关注
CDH6.3.2编译安装Hudi0.9
someInNeed的博客
02-21 2187
1.准备编译环境 1)Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中 .
一文彻底掌握Apache Hudi异步Clustering部署
被基金支配的打工人
09-27 381
1. 摘要 在之前的一篇博客中，我们介绍了Clustering(聚簇)的表服务来重新组织数据来提供更好的查询性能，而不用降低摄取速度，并且我们已经知道如何部署同步Clustering，本篇博客中，我们将讨论近期社区做的一些改进以及如何通过HoodieClusteringJob和DeltaStreamer工具来部署异步Clustering。 2. 介绍 通常讲，Clustering根据可配置的策略创建一个计划，根据特定规则对符合条件的文件进行分组，然后执行该计划。Hudi支持并发写入，并在多个表服务之间
Hudi最强指南 — Hudi的安装部署（Linux）
最新发布
2301_78038072的博客
03-26 4853
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
hudi的安装
SQL_mjkl963124412的博客
01-26 1066
1：安装maven和git在linux上（自行百度） 2：修改maven的资源镜像为阿里镜像 <mirrors> <mirror> <id>alimaven</id> <mirrorOf>central,!cloudera</mirrorOf> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/
Apache Hudi部署和入门
weixin_44977470的博客
07-28 5789
部署准备 需要用到maven3.6.1+ 部署 1.github下载源码包 https://github.com/apache/hudi/releases/tag/0.5.3 2.解压 3.进入目录编译 执行 mvn clean package -DskipTests -DskipITs 目前hudi使用的是hadoop2.7.3版本,公司服务器是3.1.0所以 执行 mvn clean package -DskipTests -DskipITs -Dhadoop.version=3.1.0 可能遇到的问题
Hudi学习6：安装和基本操作
hzp666的博客
06-30 3465
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。■在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。■每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。■每条记录由记录的key值进行标识并映射到一个fileId。
HDFS-Spark-Hudi环境的搭建及测试
老张的哲学
07-10 1164
由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。 2.2 localhost免密登录 3. Hadoop安装 Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
【Kylin4】【AWS】【EMR-5.33.0】 Aws云上部署Kylin4
mukvintt的博客
09-07 863
目录 Description Steps Prerequisite for EMR Cluster Create VPC Create Subnet and associated with VPC Which Created upon Create Internet Gateway​ Create Route Table​ Create Security Group Create Rds (Optional) Init Emr 5.33 CLI UI Install kyl...
Hadoop 搭建
qq_54110434的博客
03-09 672
hadoop2.x搭建，完全分布式，mysql，hive，spark，hbase
Kyuubi 安装配置总结
主要分享大数据相关的知识，如Spark、Hudi
05-13 2348
前言 前段时间研究了一下Kyuubi，主要是安装配置，适配Spark版本，验证Spark Server HA 的功能，基本都验证通过，但是后续没有实际使用，现在回忆总结一下，避免遗忘。 主要适配Spark2.4.5 以及 Spark3.1.2版本，同时验证是否支持Hudi。 版本说明 目前Kyuubi最新版本为1.4，Kyuubi 1.x 默认不支持Spark2，1.4版本默认Spark版本3.1.2,并且默认支持Hudi,但是因hudi0.9版本不支持Spark3.1.2，所以需要hudi0.10.1
Hudi安装、配置和使用————附带详细步骤
热门推荐
韩江雪de 小屋
07-06 1万+
文章目录8 Hudi配置8.1 配置环境变量8.2 脚本配置.1 kafka-source.properties.2 schema.avsc.3 sync-hive.sh.4 sync-config.sh.5 ingest-mor.sh8.3 数据入Hudi测试8.3.1 一次性入hudi8.3.2 持续入Hudi 8 Hudi配置 在Hadoop的master主节点上配置。 8.1 配置环境变量 这里使用下载好编译好的软件进行操作： 把编译好的文件放在置顶目录： cp hudi-0.8.0_yl /us
hudi安装
蜗牛小将
07-04 2477
数据湖hudi安装教程
hadoop 3.x大数据集群搭建系列7-安装Hudi
只是甲的博客
12-01 3561
hadoop 大数据平台搭建 数据湖hudi 编译安装
Hudi
tsundere_ning的博客
01-30 4124
目录 Hudi Hudi 的前世今生： 1.1.1 什么是Apache Hudi 1.1.2 Hudi 支持的文件格式 1.1.3 表格式 1.1.2使用Hudi的优点 1.1.3 Hoodie 的基本概念梳理 1.1.4Hudi的设计动机 1.1.5Hudi可以避免小文件问题 1.1.6 Hudi 典型应用场景 --- 近实时摄取 / 分析、增量处理管道、DFS上数据分发 2. Hive和Presto与hudi的集成 2.1 hive 2.2 Presto 3...
数据湖之Hudi基础：入门介绍和编译部署
maoyuanming0806的博客
01-16 1398
Hudi手动编译部署。Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。Apache Hudi可以轻松地在任何云存储平台上使用。
Hudi（2）：Hudi的编译和安装
yang_shibiao的博客
12-27 4595
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml（在405行的位置，修改如下（红色部分））修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。
Hudi的概述与编译安装
m0_37689903的博客
09-08 436
本文主要介绍了Hudi的特性，使用场景，编译安装过程
数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x
JIE的博客 --- moon_coder
12-11 6147
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数中添加一个。，而 Hudi 本身用的 jetty 版本是。我这里使用的 Maven 版本为。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
springboot hudi
09-12
它提供了自动配置、约定优于配置和快速开发的特性，使得开发者可以更加轻松地构建和部署应用程序。 Hudi（Hadoop Upserts Deletes and Incrementals）是一种用于处理大规模数据变更的数据存储和处理系统。它支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值