列存储格式数据模型及Parquet文件结构

列存储格式数据模型

1. 列式存储格式

1 Schema

每个schema的结构是这样的：根叫做message，message包含多个fields。每个field包含三个属性：repetition, type, name。repetition可以是以下三种：required（出现1次），optional（出现0次或者1次），repeated（出现0次或者多次）。type可以是一个group或者一个primitive类型。group就是一个自定义结构体。

那么列式是如何保存的呢？

2 Definition levels

definition Level是该路径上有定义的repeated field 和 optional field的个数，不包括required field，因为required field是必须有定义的。

message ExampleDefinitionLevel {
   
  optional group a {
   
    required group b {
   
      optional string c;
    }