列存储ORC及与Parquet比较

最新推荐文章于 2024-08-07 10:15:22 发布

liwenbluesky

最新推荐文章于 2024-08-07 10:15:22 发布

阅读量1.6k

点赞数 1

本文链接：https://blog.csdn.net/liwenbluesky/article/details/114780846

版权

一、关于ORC

Apache ORC（Optimized Row Columnar，优化行列）是Apache Hadoop生态系统的一种免费、开源、面向列的数据存储格式。类似于Hadoop生态系统中可用的其他列存储文件格式，例如RCFile和Parquet。它与Hadoop环境中的大多数数据处理框架兼容。2013年2月，Hortonworks与Facebook合作宣布了“优化行列”（ORC）文件格式。一个月后，Cloudera和Twitter开发了Apache Parquet格式。

二、ORC

最小：

最快：ORC较其他文件格式压缩比高，查询任务的输入数据量减少，使用的Task相应减少，所以快。

它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据使用Protocol Buffers序列化，并且文件中的数据尽可能的压缩以降低存储空间的消耗，目前也被Spark SQL、Presto等查询引擎支持，但是Impala对于ORC目前没有支持，仍然使用Parquet作为主要的列式存储格式。

优势：

ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。
文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减少，使用的MapTask也就减少了。
提供了多种索引，row group index、bloom filter index。
ORC可以支持复杂的数据结构（比如Map等）

和Parquet不同，ORC原生是不支持嵌套数据格式的

降低Hadoop数据存储空间和加速Hive查询速度，并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。

ORC中的数据以列的形式存储，首先，这会影响大小。为了确保流式读取的速度，将文件分为所谓的“条带”，每个条带都是自给自足的，即可以分别读取（因此可以并行读取）。由于存在条带，文件大小将增加（非唯一列值将被存储几次-在找到此类值的那些条带中）-相同的``速度大小''平衡（又称折衷）。