u012978731的博客

原创 parquet与avro嵌套列存结构比较

paruet列存文件结构图：如上图，文件由一个或者多个行组Row Group组成，每个行组由多个列组成，每个列由多个页面组成，页面由其头部和Repetition levels、Definition levels和列的值values组成。以上结构可以在加载时追加record，record首先存在内存中，当内存不够用时，将此时内存中所有的record组成一个行组Row Group输出到