hudi系列-文件布局（file layout）

概念

hudi的文件布局是能实现增量查询、数据更新等特性的基础，每个hudi表有一个固定的目录，存放元数据(.hoodie)以及数据文件，其中数据文件可以以分区方式进行划分，每个分区有多个数据文件(基础文件和日志文件)，这些数据文件在逻辑上被组织为文件组、文件分片

• 基础文件(base file)：列式存储的数据文件，可以是orc,hfile,parquet格式，默认是parquet
• 日志文件(log file)：行存储的数据文件，为avro格式，保存的是数据的变更日志(redo log)，只是mor表才有，会定期与base file进行合并
• 文件组(file group)：同一分区下，具有相同的fileId的所有basefiles+logfiles集合，一个分区可以有多个文件组
• 文件切片(file slice)：同一分区下，具有相同fileId以及相同instant的basefile + logfiles集合。即一个文件组由N个文件切片组成，每个一个文件切片中basefile最多一个，logfiles大于等于0个

上面的示例中，2023-02-15这个分区下有一个文件组，文件中组中有3个文件切片，其中一个只有log文件，一个只有base文件。

文件命名

base文件和log文件都有固定的命名格式，两者比较接近

base文件