【数据湖Hudi的概念】Table Types、Indexing和Metadata Table

1. Table Types

1.1 Copy On Write

Copy-On-Write表的file slice只有一个base file，每一次action都会进行compaction，产生新version的file slice

说明：

• field1、field2、field3在10:05的数据全部在base file中
• 此时query能查询到version 10:05的数据
• 10:10的upsert操作被compaction到field1、field2、field5，产生新version的base file
• 此时query能查询到version 10:05和10:10的数据

1.2 Merge On Read

Merge on read表是copy on write表的超集。commit的数据首先被储存在log files中，然后会进行后台的compaction，将base file + log files合并，生成一个新version的base file。读取能达到近实时，可能有几分钟的延迟，有3种数据读取方式：

1. Snapshot Queries：读取某个instant time的Snapshot，包含base file + log files。读取的数据延时低，查询性能低
2. Incremental Queries：读取某个instant time后的增量数据，包含base file + log files
3. Read Optimized Queries：读取某个i