数据湖之Hudi（13）：使用Spark删除Hudi中的数据

已于 2022-04-02 12:36:15 修改
阅读量2.1k 收藏 3
点赞数
分类专栏： # Hudi 文章标签： spark 大数据 big data 数据湖 hudi
于 2022-02-28 13:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_shibiao/article/details/123109569
版权

目录

0. 相关文章链接

1. 环境准备和数据准备

2. Maven依赖

3. 核心代码

0. 相关文章链接

数据湖 文章汇总

1. 环境准备和数据准备

对Hudi的环境准备和数据准备，可以参考博主的另一篇博文，这里就不多描述了，博文连接：数据湖之Hudi（9）：使用Spark向Hudi中插入数据

2. Maven依赖

在另一篇博文中有Maven依赖，但在这里还是补充一下

    <repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>jboss</id>
            <url>http://repository.jboss.com/nexus/content/groups/public</url>
        </repository>
    </repositories>
 
    <properties>
        <scala.version>2.12.10</scala.version>
        <scala.binary.version>2.12</scala.binary.version>
        <spark.version>3.0.0</spark.version>
        <hadoop.version>3.0.0</hadoop.version>
        <hudi.version>0.9.0</hudi.version>
    </properties>
 
    <dependencies>
 
        <!-- 依赖Scala语言 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
 
        <!-- Spark Core 依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- Spark SQL 依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
 
        <!-- Hadoop Client 依赖 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
 
        <!-- hudi-spark3 -->
        <dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-spark3-bundle_2.12</artifactId>
            <version>${hudi.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-avro_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>
 
    </dependencies>
 
    <build>
        <outputDirectory>target/classes</outputDirectory>
        <testOutputDirectory>target/test-classes</testOutputDirectory>
        <resources>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
            </resource>
        </resources>
        <!-- Maven 编译的插件 -->
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

3. 核心代码

使用DataGenerator数据生成器，基于已有数据构建要删除的数据，最终保存到Hudi表中，需要设置属性参数：hoodie.datasource.write.operation 值为：delete。

第1步、加载Hudi表数据，获取条目数
第2步、模拟要删除的数据，从Hudi中加载数据，获取几条数据，转换为要删除数据集合
第3步、保存数据到Hudi表中，设置操作类型：DELETE
第4步、再次加载Hudi表数据，统计条目数，查看是否减少2条数据

package com.ouyang.hudi.crud

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
import org.apache.hudi.DataSourceWriteOptions._
import org.apache.hudi.config.HoodieWriteConfig._
import org.apache.hudi.QuickstartUtils._

import java.util

/**
 * @ date: 2022/2/23
 * @ author: yangshibiao
 * @ desc: 删除（Delete）数据
 */
object Demo05_Delete {

    def main(args: Array[String]): Unit = {

        System.setProperty("HADOOP_USER_NAME", "root")

        // 创建SparkSession实例对象，设置属性
        val spark: SparkSession = {
            SparkSession.builder()
                .appName(this.getClass.getSimpleName.stripSuffix("$"))
                .master("local[4]")
                // 设置序列化方式：Kryo
                .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
                .getOrCreate()
        }

        // 定义变量：表名称、保存路径
        val tableName: String = "tbl_trips_cow"
        val tablePath: String = "/hudi-warehouse/tbl_trips_cow"

        // 导入隐式转换和相关方法
        import spark.implicits._

        // 第1步、加载Hudi表数据，获取条目数
        val tripsDF: DataFrame = spark.read.format("hudi").load(tablePath)
        println(s"Raw Count = ${tripsDF.count()}")

        // 第2步、模拟要删除的数据，从Hudi中加载数据，获取几条数据，转换为要删除数据集合
        val dataframe: DataFrame = tripsDF.limit(2).select($"uuid", $"partitionpath")
        val dataGenerator: DataGenerator = new DataGenerator()
        val deletes: util.List[String] = dataGenerator.generateDeletes(dataframe.collectAsList())

        import scala.collection.JavaConverters._
        val deleteDF: DataFrame = spark.read.json(spark.sparkContext.parallelize(deletes.asScala, 2))

        // 第3步、保存数据到Hudi表中，设置操作类型：DELETE
        deleteDF.write
            .mode(SaveMode.Append)
            .format("hudi")
            .option("hoodie.insert.shuffle.parallelism", "2")
            .option("hoodie.upsert.shuffle.parallelism", "2")
            // 设置数据操作类型为delete，默认值为upsert
            .option(OPERATION.key(), "delete")
            .option(PRECOMBINE_FIELD.key(), "ts")
            .option(RECORDKEY_FIELD.key(), "uuid")
            .option(PARTITIONPATH_FIELD.key(), "partitionpath")
            .option(TBL_NAME.key(), tableName)
            .save(tablePath)

        // 第4步、再次加载Hudi表数据，统计条目数，查看是否减少2条数据
        val hudiDF: DataFrame = spark.read.format("hudi").load(tablePath)
        println(s"Delete After Count = ${hudiDF.count()}")

    }
}

通过如下打印结果，可以看出来确实删除了2条数据，另外需要注意，删除的程序跑的较慢，需要耐心等候：

Raw Count = 100
Delete After Count = 98

注：Hudi系列博文为通过对Hudi官网学习记录所写，其中有加入个人理解，如有不足，请各位读者谅解☺☺☺

注：其他相关文章链接由此进（包括Hudi在内的各数据湖相关博文） -> 数据湖 文章汇总

电光闪烁
关注
专栏目录
数据湖（四）：Hudi与Spark整合
Lansonli（蓝深李）的博客
05-29 2615
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下: Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本 Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12
SparkSQL操作hudi表
qq_22639405的博客
10-25 287
1、登录2、创建普通表3、创建分区表4、从现有表创建表5、用查询结果创建新表(CTAS)6、插入数据7、查询数据8、修改数据9、合并数据10、删除数据11、覆盖写入12、修改数据表13、hudi分区命令。
使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据
xleesf
11-22 533
将数据存储在Amazon S3中可带来很多好处，包括规模、可靠性、成本效率等方面。最重要的是，你可以利用Amazon EMR中的Apache Spark，Hive和Presto之类的开源工具来处理和分析数据。 尽管这些工具功能强大，但是在处理需要进行增量数据处理以及记录级别插入，更新和删除场景时，仍然非常具有挑战。 与客户交谈时，我们发现有些场景需要处理对单条记录的增量更新，例如： 遵守数据隐私...
【Spark】算子实现delete SQL语句
最新发布
five小点心的博客
08-15 294
spark计算出来后，得到dataframe，需要删除dataframe中的ids。
hudi spark数据增删查改
赵英超的博客
06-28 614
Hudi还提供了增量查询的方式，可以获取从给定提交时间戳以来更改的数据流。如果我们希望在给定提交之后进行所有更改，则不需要指定endTime（这是常见的情况）。对于表或分区来说，如果大部分记录在每个周期都发生变化，那么做upsert或merge的效率就很低。overwrite操作可能比批量ETL作业的upsert更快，批量ETL作业是每一批次都要重新计算整个目标分区（包括索引、预组合和其他重分区步骤）。也可以用于某些操作任务，如修复指定的问题分区。"操作，以忽略现有数据，只用提供的新数据创建一个提交。
Spark delete
饮马天涯
07-09 2800
Hive 不能使用 delete from {tablename} [ where ...] 可以用insert overwrite table {tablename} select * from {tablename} [where ..]  [limit ..] 还可以 create table aaaa AS select * from bbbb
Hudi-SparkSQL增删改查Hudi表
qq_38304392的博客
03-07 1179
进入spark-sql shell ./spark-sql --master local[2] --jars /Users/FengZhen/Desktop/Hadoop/spark/spark-3.0.3-bin-hadoop2.7/jars/spark-avro_2.12-3.0.3.jar,/Users/FengZhen/Desktop/Hadoop/hudi/spark3.0.3/h...
正确DROP掉MOR类型的HUDI表
一见
05-16 387
【代码】正确DROP掉MOR类型的HUDI表。
数据湖（四）：Hudi 与 Spark 整合
wr_java的博客
04-04 454
默认 Spark 操作 Hudi 使用表类型为模式。Hudi 与 Spark 整合时有很多参数配置，可以参照Hudi 这里使用的是 0.8.0 版本，其对应使用的 Spark 版本是 2.4.3+版本Spark2.4.8 使用的 Scala 版本是 2.12 版本，虽然 2.11 也是支持的，建议使用 2.12。maven 导入包中需要保证 httpclient、httpcore 版本与集群中的 Hadoop 使用的版本一致，不然会导致通信有问题。
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
02-24
ApacheHudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fastupsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享...
java源码生成jar包-hudi:大数据的更新、删除和增量处理
06-05
java源码生成jar包阿帕奇胡迪 Apache Hudi（发音为 Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi 管理 DFS（云存储、HDFS 或任何 Hadoop 文件系统兼容存储）上的大型分析数据集的存储。 特征 Upsert 支持快速、可插入的索引 自动发布具有回滚支持的数据 写入器和查询之间的快照隔离 用于数据恢复的保存点 使用统计信息管理文件大小和布局 行和列数据的异步压缩 用于跟踪沿袭的时间线元数据 通过聚类优化数据湖布局 Hudi 支持三种类型的查询： 快照查询- 使用列式和基于行的存储（例如 +）的组合，提供对实时数据的快照查询。 增量查询- 提供一个更改流，其中包含在某个时间点后插入或更新的记录。 读取优化查询- 通过纯列式存储（例如 ）提供出色的快照查询性能。 了解有关 Hudi 的更多信息，请访问 从源代码构建 Apache Hudi 构建 Apache Hudi 的先决条件： 类 Unix 系统（如 Linux、Mac OS X） Java 8（Java 9 或 10 可以工作） 吉特 Mave
Spark操作Hudi数据湖
10-20
Spark操作Hudi数据湖是一种高效、可扩展的方式来管理和分析大规模数据湖。Hudi（Hadoop Upsert Delta Table）是Facebook开源的一个数据湖解决方案，它旨在为Hadoop生态系统提供实时更新、查询和增量处理的能力。Hudi...
hive数据库delete删除部分数据/删除分区内的数据
热门推荐
weixin_49114503的博客
11-17 1万+
在Hive中，删除部分数据是一个常见的操作，特别是当我们需要清除不再需要的数据或者进行数据更新时。Hive提供了多种方式来删除部分数据，本文将介绍其中几种常用的方法。
Spark-HDFS 删除空文件 && 合并小文件
BITDDD小栈
04-28 1503
一.引言 hive 执行任务后目录下生成过多小文件，过多的小文件会占用 namenode 的内存，对于 HDFS 非常不友好，所以可以通过删除空文件或者合并小文件的方法进行优化。 二.删除空文件 可以看到有很多空的gz，blockSize=20。如果是空文件的话，blockSize占用会是0。 思路很简单，通过 listStatus 方法判断目标路径是文件还是文件夹，文件夹的话递归到下层文件，文件的话直接 getLen 获取大小，如果满足 blockSize，则进行删除 delete 操作.
Hudi Clean 清理文件实现分析
主要分享大数据相关的知识，如Spark、Hudi
05-20 1003
前言 源码层面总结分析Hudi Clean是如何实现的，不了解Hudi Clean的可以先看这篇：一文彻底理解Apache Hudi的清理服务。 Hudi Clean主要是清理删除不需要的历史文件，可以根据实际业务需要配置参数，不能影响查询，比如某个查询语句正在用某个文件，Clean如果删除了这个文件，查询就会报错。 这里只是删除历史文件，Hudi的文件是有多个版本的，不管配置什么参数，使用什么策略，都不会删除当前最新版本的文件。 Hudi 0.9.0版本有两种清理策略KEEP_LATEST_COMMITS
在 Apache Hudi 中使用正确的索引进行快速更新、删除
weixin_43857576的博客
12-01 1067
Apache Hudi 使用索引来定位更新/删除所属的文件组。对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终不得不针对所有传入的更新/删除记录合并所有基本文件。 在
通过Spark操作Hudi(增、删、改、查、增量查)
qq_38304392的博客
02-24 2920
一、概览 Hudi数据湖框架，基于spark计算引擎，对数据进行CRUD操作，使用官方模拟生成出租车出行数据任务一：模拟数据，插入Hudi表，采用COW模式任务二：快照方式查询(Snapshot Query)，采用DSL方式任务三：更新(update)数据任务四：增量查询数据(Incremental Query)，采用SQL方式任务五：删除(Delete)数据 二、cow类型表的操作 ...
Spark操作Hudi表：数据查询与结构探索
在大数据领域，Apache Hudi 是一个强大的分布式存储系统，特别适合于实时数据湖场景。Spark，作为Apache Hadoop生态系统中的一个核心组件，提供了一种高效的方式来处理和查询Hudi表。以下是使用Spark操作Hudi表的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

电光闪烁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值