超级会员免费看
Apache Hudi是一个大数据处理框架，它支持在Hadoop兼容存储上进行流处理，提供更新、删除记录及变更流功能。Hudi通过细粒度索引实现高效写入和查询，支持Copy On Write (COW) 和 Merge On Read (MOR) 表类型，优化写入性能和数据新鲜度。设计原则包括流式读/写、自管理和日志结构化存储。表设计涉及时间轴、数据文件和索引，其中时间轴用于跟踪数据变化，数据文件以文件组形式组织，索引提供高效upsert操作。Hudi支持快照查询、增量查询和读优化查询，以满足不同场景需求。
本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。
1.简介
Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是：
-
Update/Delete****记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的事务保证。查询会处理最后一个提交的快照，并基于此输出结果。
-
变更流：Hudi对获取数据变更提供了一流的支持：可以从给定的时间点获取给定表中已updated/inserted/deleted的所有记录的增量流，并解锁新的查询姿势（类别）。
这些原语紧密结合，解锁了基于DFS抽象的流/增量处理能力。如果您熟悉流处理，那么这和从kafka主题消费事件，然后使用状态存储逐步累加中间结果类似。这在架构上会有以下几点优势：1） 效率的提升：摄取数据通常
订阅专栏 解锁全文
扫一扫
3245
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
