【大数据】ORC数据格式

ORC（OptimizedRC File）也是 Apache 的顶级项目，也是自描述的列存储，源自于RC（RecordColumnar File），主要是在 Hive 中使用，支持数据压缩、索引功能、update 操作、ACID 操作、支持复杂类型等，其查询性能相对 Parquet 略有优势。

orc文件有如下结构：

block,stripe,row_group,stream,index data,Row data,fileFooter,postscript
orc在hdfs上存储，为适应hdfs区块存储思想会将orc文件划分成block块，orc的block块大小一般和hdfs的block块大小一致通过配置（ hive.exec.orc.default.block.size 默认256M）指定。每个block块中包含多个stipe,stipe大小通过参数（ hive.exec.orc.default.stripe.size 默认64M）指定。应尽量避免strip跨hdfs：block存储，否则在解析stipe时会存在IO跨节点的数据请求，从而增加了系统资源开销。所以，一般orc：block块大小是orc:stripe大小的整数倍。但是，在有些情况下还是会出现block块不能够被整数个stipe完整填满，需要关闭跨hdfs:block的数据存储，需要指定（hive.exec.orc.default.block.padding=false)关闭块存储。另外需要指定最小磁盘利用空间（ hive.exec.orc.block.padding.tolerance 默认0.05，例如orc:block=256M，256*0.05=12.5M）,hdfs:block块剩余磁盘空间低于此值将放弃使用。