数据湖---hudi简介

官网

hudi是什么

apache hudi是下一代流式数据湖平台。hudi将数仓和数据库的核心功能带到了数据湖。提供表、事务、高效的upsert、delete，高级索引，流式注入服务，数据集群、压缩优化和并发，并将数据以开源的文件格式保存。
Apache Hudi不仅非常适合流式工作负载，还允许您创建高效的增量批处理管道。
Apache Hudi可以在任何云存储平台上轻松使用。Hudi的高级性能优化，使任何流行的查询引擎（包括Apache Spark、Flink、Presto、Trino、Hive等）的分析工作更快。

核心概念

Tileline

Hudi是如何管理事务和其他表服务的

Table Types

COPY_ON_WRITE MERGE_ON_READ

Query Types

Snapshot Queries, Incremental Queries, Read-Optimized Queries

特性

Upserts，使用快速、可插入的索引进行删除。
增量查询，记录级流更改。
事务、回滚、并发控制。
Spark、Presto、Trino、Hive等的SQL读/写
自动调整文件大小、数据聚类、压缩、清理。
流式摄取，内置CDC源和工具。
内置元数据跟踪，可扩展的存储访问。
向后兼容架构演进和增强。