Apache Paimon 基本概念解析

1、概述

1）架构图

2）基本概念

1.Snapshot

latest snapshot：访问最新快照数据；

time traveling-earlier snapshot：访问历史快照数据。

2.Partition

根据日期、城市等特定列的值将表进行切分，每个表可以有一个或多个分区键来识别特定的分区，通过分区，用户可以有效地对表中的一段记录进行操作。

3.Bucket

用户可以提供bucket-key指定桶列，如果没有指定bucket-key选项，主键或完整记录将用作桶键。

桶是读取和写入的最小存储单元，桶的数量限制了最大的处理并行性，如果桶的数量过大会导致很多小文件和低读性能，推荐每个桶中的数据大小约为200MB-1GB。

4.一致性保证

使用两阶段提交协议将一批记录原子地提交到表中，每个提交在提交时最多产生两张快照；

对于任何两个同时修改表的写者，只要不修改同一个桶，提交就可以并行发生，如果修改了同一个桶，则只保证快照隔离，最终表状态可能是两个提交的混合体，但不会丢失任何更改。

3）文件布局

1.概述

表的所有文件都存储在一个基本目录下，从快照文件开始，Paimon Readers可以递归访问表中的所有记录。

2.Snapshot Files-快照文件

所有快照文件都存储在snapshot目录中。

快照文件是一个JSON文件，包含有关此快照的信息，包括

• 使用的模式文件
• 包含此快照所有更改的清单列表

3.Manifest Files-清单文件

所有清单列表和清单文件都存储在manifest目录中。

a) 清单列表

清单列表是清单文件名的列表。

b) 清单文件

清单文件包含LSM数据文件和更改日志文件。

例如，在相应的快照中创建了哪个LSM数据文件，删除了哪个文件。

4.Data Files-数据文件

数据文件按分区和桶分组，每个桶目录都包含一个LSM树及其更改日志文件；

Paimon支持使用orc（默认）、parquet和avro作为数据文件格式。