储存文件压缩比总结
ORC > Parquet > textFile > sequencefile
列式存储和行式存储
行存储的特点:
查询满足条件的一整行数据数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储的查询速度更快。
列存储的特点:
因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存储可以针对性的设计更好的设计压缩算法。
Textfile和sequencefile 的存储格式都是基于行存储的
orc和parquet 是基于列式存储的
Textfile格式:
默认格式,数据不做压缩,磁盘开销大,数据解析开销大,可结合gzip,bzip2使用,hive不会对数据进行切分,从而无法对数据进行并行操作
Orc 格式
每个orc 文件由一个或多个strpe 组成,每个stripe一般为hdfs的块大小,每一个stripe包含多条记录,这些记录按照列进行独立存储,对应的parquet中的row group的概念。每个stripe 里面有三部分组成(index data,row data,stripe footer)
Index data:
一个轻量级的index,默认是每一万行做一个索引。这里做的索引应该是记录某行的各字段在row data 中的offset。
Row data:
存的是具体的数据,先去部分行,然后对这些行进行按列存储,对对每个列进行了编码,分成多个stream来存储。
Stripe footer:
存的是各个stream 的类型,长度等信息。
Parquet 格式
Parquet 文件是以二进制方式存储的,所以不能直接读取,文件中包括该文件的数据和元数据,因此parquet 格式文件是自解析的。
行组(row group)
每一个行组包含一定的行数,在一个hdfs文件中至少存储一个行组,类似于orc的stripe的概念。
列块(column chuck):
在一个行组中每一列保存在一个列块中,行组中所有的列连续的存储在这个行组文件中。一个列块中的值都是相同类型的,不同的列块肯能使用不同的算法及进行压缩
页(page):
每一个列块划分为多个页,一个也是最小的编码的单位,在同一列块的不同页可能使用不同的编码方式。
通常情况下,在存储parquet数据的时候会按照block 大小设置行组的大小,一搬情况下,每一个mapper 任务处理的最小单位是block,这样可以把每一个行组由一个Mapper任务处理,增大任务并行度。
在parquet中,有三个类型的页
数据页
用于存储当前行组中该列的值
字典页
存储该列值的字符编码,每一个列块中最多包含一个字典页
索引页
用来存储当前行组下该列的索引(目前parquet中还不支持索引页)