Hudi中数据重复

最新推荐文章于 2023-05-16 12:49:38 发布
最新推荐文章于 2023-05-16 12:49:38 发布
阅读量1.8k 收藏 6
点赞数
分类专栏： Spark 日志 文章标签： Hudi 大数据 Spark Flink ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianlangstudio/article/details/119830366
版权
日志 同时被 2 个专栏收录
86 篇文章 1 订阅
订阅专栏
Spark
23 篇文章 0 订阅
订阅专栏

问题描述:

往Hudi MOR(Merge On Read)表增量写数据，发现数据并没有按主键合并，存在重复数据.

主键...分区
1...P_1
2...P_1
1...P_2
3...P_2
4...P_2

解决方法：

          经分析重复数据只存在于不同分区内，如主键为1的数据，同分区内不存在重复数据。基于此可以使用全局(布隆)索引并设置HoodieIndexConfig.BLOOM_INDEX_UPDATE_PARTITION为true.

出于性能考虑，Hudi默认只对同分区内的数据去重，需要全局去重需要开启全局索引

一个不安分的程序员
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hudi系列-数据写入方式及使用场景
1032851561的博客
03-14 2095
hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，同时也支持对历史数据的高效同步并嫁接到实时流程。
数据湖Hudi.doc
10-14
数据湖资料
Hudi核心知识点详解——快速入门数据湖
Maynor996的博客
05-10 8179
Hudi的入门文章
17张图带你彻底搞懂hudi upsert源码
h335146502的专栏
05-15 5760
前言 ​ 如果要深入了解apache hudi技术的应用或是性能调优，那么明白源码中的原理对我们会有很大的帮助。在apache hudi 中upsert 是他的核心功能之一，主要完成增量数据在hdfs上的修改，并可以支持事务。在hive中修改数据需要重新分区或重新整个表，但是对于hudi更新可以是文件级别的重写或是数据先进行追加后续在重写，对比Hive 大大的提高了更新性能。upsert支持两种模式的写入copy on write和merge on read ，下面本文将介绍Apache Hu
Hudi（22）：Hudi集成Flink之常见问题汇总
yang_shibiao的博客
02-09 1467
Hudi集成Flink之常见问题汇总： 问题一：存储一直看不到数据 问题二：数据有重复 问题三：Merge On Read 写只有 log 文件
Hudi表数据重复原因
一见
05-16 622
测试中，发现虽然显示设置为 upsert，且也按规范设置了 primaryKey、preCombineField，type 等，但查出的结果仍然存在重复。反复测试，重复的数据稳定为 2，且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同，但来自不同的 HDFS 文件。这个问题的原因是 drop 掉一张 hudi 表时，对应的表文件没有被删除，导致以同样路径再次创建后，select 仍然能查出来，这时显示重复的原因。但反复 create 和 drop，总是只有两个文件，并没有增加新的。
在 Apache Hudi 中使用正确的索引进行快速更新、删除
weixin_43857576的博客
12-01 996
Apache Hudi 使用索引来定位更新/删除所属的文件组。对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终不得不针对所有传入的更新/删除记录合并所有基本文件。 在
Hudi系列16:Hudi核心参数
只是甲的博客
02-07 1280
hudi常用参数
Hudi学习02 -- Hudi核心概念
patrick_big_data的博客
12-31 1412
hudi核心概念
Hudi（21）：Hudi集成Flink之核心原理分析
yang_shibiao的博客
02-08 1067
在Hoodie 写入流程中，Hoodie 每写一个 parquet 都会有 base + 增量 merge 的过程，增量的消息会先放到一个 spillable map 的数据结构构建内存 index，这里的增量数据如果没有提前去重，那么同 key 的后来消息会直接覆盖先来的消息。默认情况下，不同的 partition 的消息是不去重的，即相同的 key 消息，如果新消息换了 partition，那么老的 partiiton 消息仍然保留。注意：write.precombine 选项控制了攒消息的去重。
数据湖架构开发Hudi 2022年
04-08
数据湖架构开发Hudi 内容包括： 1. hudi基础入门视频和资源 2. Hudi 应用进阶篇（Spark 集成）视频 3.Hudi 应用进阶篇（Flink 集成）视频 适用于所有从事大数据行业人员，从小白或相关知识提升 从数据湖相关基础...
数据湖Hudi操作文档和实例代码
06-03
这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中...
Spark操作Hudi数据湖
10-20
Spark操作Hudi数据湖
数据湖存储格式Hudi原理与实践.pdf
10-03
数据湖存储格式Hudi原理与实践.pdf
Flink CDC + Hudi 海量数据入湖在顺丰的实践
阿里云开发者
06-10 850
简介：覃立辉在 5.21 Flink CDC Meetup 的分享。本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括：顺丰数据集成背景Flink CDC 实践问题与优化未来规划点击查看直播回放 & 演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果
ApacheHudi使用问题汇总(一)
风中云彩的博客
01-08 1889
1.如何写入Hudi数据集 通常，你会从源获取部分更新/插入，然后对Hudi数据集执行写入操作。如果从其他标准来源（如Kafka或tailf DFS）中提取数据，那么DeltaStreamer将会非常有用，其提供了一种简单的自我管理解决方案，可将数据写入Hudi。你还可以自己编写代码，使用Spark数据源API从自定义源获取数据，并使用Hudi数据源写入Hudi。 2. 如何部署...
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 5720
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
HUDI preCombinedField 总结
主要分享大数据相关的知识，如Spark、Hudi
01-04 4323
总结 HUDI preCombinedField,分两大类总结，一类是Spark SQL,这里指的是merge，因为只有merge语句中有多条记录，讨论preCombinedField才有意义；
Hudi从内核到实战介绍
zjjcchina的博客
08-08 543
在每个分区内，有多个数据组，每个数据组包含几个文件片，其中文件片包含基本文件和日志文件。Hudi采用MVCC设计，其中压缩操作将日志文件和基本数据文件合并成新的文件片，而清除操作则将未使用的文件片去除。更新记录到增量文件，压缩同步和异步生成新版本的文件。Hudi的核心是维护不同时间对表执行的所有操作的事件表，这有助于提供表的即时视图，同时还有效地支持按到达顺序进行数据检索。演示，update时limit只修改100条数据，然后根据时间戳进行查询，只会查询出进行修改的100条符合时间的数据....
hudi 删除数据命令
最新发布
11-30
根据提供的引用内容，Hudi删除数据的命令如下所示： ```shell # 使用DataGenerator数据生成器，基于已有数据构建要删除的数据，最终保存到Hudi表中 # 需要设置属性参数：hoodie.datasource.write.operation 值为：delete java -cp hoodie-hadoop-mr-bundle.jar \ org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer \ --props /path/to/config/file.properties \ --op delete ``` 通过上述命令，可以将生成的要删除的数据保存到Hudi表中。另外，根据引用的打印结果，可以看出删除了2条数据，但是删除的程序跑的较慢，需要耐心等候。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个不安分的程序员

祝您财源广进

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值