hdfs orc格式_Hive:ORC File Format存储格式详解

写在前面的话，学《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关/archives/tag/hive的那些事

在Hive中，我们应该都听过RCFile这种格式吧，关于这种文件格式的结构什么的我就不介绍了，感兴趣的可以去网上找找。今天这篇文章要说的主题是ORC File。

一、定义

ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。

和RCFile格式相比，ORC File格式有以下优点：

(1)、每个task只输出单个文件，这样可以减少NameNode的负载；

(2)、支持各种复杂的数据类型，比如： datetime, decimal, 以及一些复杂类型(struct, list, map, and union)；

(3)、在文件中存储了一些轻量级的索引数据；

(4)、基于数据类型的块模式压缩：a、integer类型的列用行程长度编码(run-length encoding);b、String类型的列用字典编码(dictionary encoding)；

(5)、用多个互相独立的RecordReaders并行读相同的文件；

(6)、无需扫描markers就可以分割文件；

(7)、绑定读写所需要的内存；

(8)、metadata的存储是用 Protocol Buffers的，所以它支持添加和删除一些列。