Hive ORC和Parquet

相比传统数据库的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作，尤其是在数据列很多，但每次操作仅针对若干列进行查询和计算的情景，列式存储引擎的性价比更高。

目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。

本文将重点讲解ORC文件存储格式，Parquet暂不深入说明，后续抽时间整理。

 

1、Apache Parquet

 

源自于google Dremel系统，Parquet相当于GoogleDremel中的数据存储引擎，而Apache顶级开源项目Drill正是Dremel的开源实现。

Apache Parquet 最初的设计动机是存储嵌套式数据，比如Protocolbuffer，thrift，json等，将这类数据存储成列式格式，以方便对其高效压缩和编码，且使用更少的IO操作取出需要的数据，这也是Parquet相比于ORC的优势，它能够透明地将Protobuf和thrift类型的数据进行列式存储，在Protobuf和thrift被广泛使用的今天，与parquet进行集成，是一件非容易和自然的事情。除了上述优势外，相比于ORC, Parquet没有太多其他可圈可点的地方，比如它不支持update操作（数据写成后不可修改），不支持ACID等。

Hive中创建表时使用Parquet数据存储格式：

create table parquet_table(id int,name string) stored as parquet;

   

2、Apache ORC

 

ORC(OptimizedRow Columnar) 文件格式存储源自于RC（RecordColumnar File）这种存储格式，RC是一种列式存储引擎，对schema演化（修改schema需要重新生成数据）支持较差，而ORC是对RC改进，但它仍对schema演化支持较差，主要是在压缩编码，查询性能方面做了优化。RC/ORC最初是在Hive中得到使用，最后发展势头不错，独立成一个单独的项目。Hive 1.x版本对事务和update操作的支持，便是基于ORC实现的（其他存储格式暂不支持）。ORC发展到今天，已经具备一些非常高级的feature，比如支持update操作，支持ACID，支持struct，array复杂类型。你可以使用复杂类型构建一个类似于parquet的嵌套式数据架构，但当层数非常多时，写起来非常麻烦和复杂，而parquet提供的schema表达方式更容易表示出多级嵌套的数据类型。

Hive中创建表时使用ORC数据存储格式：

create table orc_table (id int,name string) stored as orc;

 

3、Parquet与ORC对比

 

	Parquet http://parquet.apache.org	Orc http://orc.apache.org
发展状态	目前都是Apache开源的顶级项目，列式存储引擎
开发语言	Java
主导公司	Twitter/Cloudera	Hortonworks
列编码	支持多种编码，字典，RLE，Delta等	支持主流编码，与Parquet类似
ACID	不支持	支持ACID事务
修改操作(update,delete)	不支持	支持
支持索引 (统计信息)	粗粒度索引 block/group/chunk级别统计信息	粗粒度索引 file/stripe/row级别统计信息，不能精确到列建立索引
查询性能	Orc性能更高一点
压缩比	Orc压缩比更高

 

下面看一张图，可以比对一下压缩率：

 

 

4、ORC

使用ORC文件格式可以提升Hive读、写与处理数据的性能。

一个ORC文件包含多个stripes（每个stripes由多组行数据组成的），一个包含辅助信息的file footer。

在文件的结尾，一个postscript保存着压缩参数及被压缩的footer的长度。

一个stripes缺省大小是250MB，其大小可以扩展的长度只受HDFS的约束。

file footer包含文件中的一个记录stripes信息的列表、每个stripes中行的数目及每个列的数据类型，它也包含列级的聚合结果：count, min, max, and sum。

我们通过使用hive --orcfiledump来进行分析ORC存储文件，就可以看到这些信息：

hive --orcfiledump <path_to_file>

示例：

hive --orcfiledump /user/hive/warehouse/helloworld.db/test_orcfile/part-00271

 

对于Hive 1.1，查看ORC File文件中的内容可以使用如下的方式：

hive --orcfiledump -d <path_to_file>

示例：

hive --orcfiledump -d /user/hive/warehouse/helloworld.db/test_orcfile/part-00271

 

从下面的ORC文件结构图可以了解相关信息：

我使用下面的命令，将ORC的分析结果输出到了orcfile文件，方便大家查看对照图分析：

hive --orcfiledump /user/hive/warehouse/helloworld.db/test_orcfile/part-00271  > orcfile

从上图中，我们知道在ORC文件中，每个Stripe包括索引数据(IndexData)、行数据(Row Data)及一个Stripe footer。

Stripe footer包含了用于流定位的目录，Row data用于表扫描。

索引数据（Index Data）包括每个列的最小与最大值，以及它们在每个列的行号，行索引项（Row index entries）记录了压缩块及解压后字节的偏移。需要注意的是，ORC索引只是被用来选择Stripe和行组，而不会被用于返回查询结果。拥有相对频繁的行索引条目，可以为了快速的数据读取而跳过一些行，缺省情况下每次最多可以跳过10000行。ORC有能力基于过滤谓词跳过非常多的行，可以使用第二关键字进行对表进行排序，以达到减少查询执行时间的效果。例如，如果主关键字是交易日期，表可以按照省份、邮编号码或者姓名进行排序，当按照省份查询记录的时候将跳过非目标省份的记录。

下面介绍如何在Hive中使用这种存储格式：

 

1)       支持的数据格式

• Integer
  • boolean (1 bit)
  • tinyint (8 bit)
  • smallint (16 bit)
  • int (32 bit)
  • bigint (64 bit)
• Floating point

• • float
  • double
• String types
  • string
  • char
  • varchar
• Binary blobs
  • binary
• Date/time
  • timestamp
  • date
• Compound types
  • struct
  • list
  • map
  • union

2)       Hive DDL

通过指定stored as orc来使用ORC存储格式：

create table orc_table (

id int,

name string

) stored as orc;

 

可以修改表的存储格式：

alter table simple_table set fileformat orc;

如果simple_table已经存在数据，将导致通过表查询无法访问数据。

 

 

3)       创建表时，指定ORC存储格式属性

KEY	DEFAULT	NOTES
orc.compress	ZLIB	high level compression = {NONE, ZLIB, SNAPPY} 压缩方法(NONE, ZLIB, SNAPPY)
orc.compress.size	262,144	compression chunk size 每个压缩块的字节数
orc.stripe.size	268,435,456	memory buffer size in bytes for writing 每个stripe的字节数
orc.row.index.stride	10,000	number of rows between index entries 索引项之间的行数
orc.create.index	TRUE	create indexes? 是否创建行索引
orc.bloom.filter.columns	""	comma separated list of column names
orc.bloom.filter.fpp	0.05	bloom filter false positive rate

 

比如，创建没有压缩的表：

CREATE TABLE orc_table (

  name STRING,

  age tinyint

) STORED AS ORC TBLPROPERTIES("orc.compress"="NONE");

          

4)       Hive涉及ORC存储文件的配置参数

·        hive.default.fileformat

指定Hive创建表的存储文件格式，默认为TextFile。

 

·        hive.exec.orc.default.compress

ORC的压缩编码方式，默认为ZLIB。

 

·        hive.exec.orc.default.buffer.size

ORC的缓冲大小，默认为262,144(256KB)。

 

·        hive.exec.orc.default.block.size
ORC文件的系统块大小，默认为268,435,456(256MB)

 

·        hive.exec.orc.zerocopy

使用zerocopy读ORC文件。Hadoop 2.3以及后续版本支持。

 

·        hive.orc.compute.splits.num.threads

ORC使用多少线程去并行化创建分片

hive.exec.orc.skip.corrupt.data         false         

If ORC reader encounters corrupt data, this value will be used todetermine whether to skip the corrupt data or throw an exception.

The default behavioris to throw an exception.

 

·        hive.exec.orc.skip.corrupt.data        

如果ORC读时遇到损坏的数据，此选项决定是否跳过损坏的数据，还是抛出异常。

默认是抛出异常。

 

·        hive.merge.orcfile.stripe.level

当hive.merge.mapfiles,hive.merge.mapredfiles或者hive.merge.tezfiles设置为true时，此时同时以ORC文件格式写表数据，设置此值为true时将快速以stripe级别合并ORC小文件。

·        其他的参数有的用的很少，大家可以参考Hive官网说明进行配置和调优。

三、dump文件分析

　　接下来的分析，请对照着文章Hive-ORC文件存储格式中的图1-ORC文件结构图进行。
　　使用hql语句，统计出各字段的count, min, max, sum信息如下：

字段	COUNT	MIN	MAX	SUM
category_id	1000000	5011	975673	4.0222868968E11
product_id	1000000	968	50997770	27158964508399
brand_id	999130	0	1026427	774991825568
price	1000000	-0.0092	358000.0	1.8953626711045265E8
category_id_2	1000000	5010	5996	5.183530839E9

　　
　　从dump文件的图片中可以看出，大致分成四个部分：

1、表结构信息

　　记录整张表的记录数，压缩方式，压缩大小，以及表结构。在表结构部分，ORC将整张表的所有字段构造成一个大的struct结构。对应图1-ORC文件结构图中的Postscript部分。

２、Stripe统计信息

　　统计当前HDFS文件对应Stripe的信息，包括各个字段的count，min, max, sum信息。对于最外层的Struct，只统计其count值。由于这张表数据量不大，当前HDFS文件中只有一个Stripe。对应图1-ORC文件结构图中的Stripe Footer部分。
　　

3、File统计信息

　　统计内容和第二部分一致，不过这里统计的整张表的每个字段count, min, max, sum信息。对应图1-ORC文件结构图中的FileFooter部分。
　　这里我们将dump文件中的统计信息，与各字段实际统计信息作对比。通过与上面表格中各字段统计信息对比，发现对于int类型和double类型的字段，min, max, sum的结果都是匹配的。但是对于string类型的字段，仅仅只有min, max统计结果一致，sum的结果不相同。

4、Stripe详细信息

　　统计各Stripe的offset，总记录行数等Stripe层次的信息。该Stripe中各字段的Index Data和Row Data，以及每个字段的编码方式。
　　前面一行Stripe: offset: 3 data: 7847351 rows: 1000000 tail: 132 index: 7936应该也是保存在FileFooter中，后面各个字段统计信息对应图1-ORC文件结构图中的Index Data和Row Data部分。
　　从dump文件中的数据可以看出，每个字段的ROW_INDEX以及DATA信息是保存在一块连续空间中的，这块文件从offset=3开始。这也说明图1-ORC文件结构图中Row Data区的数据紧随Index Data区数据之后。
　　Index Data数据统计：

起始位置	字段
3……21	STRUCT
22……1141	category_id
1142……3056	product_id
3057……5135	brand_id
5136……7201	price
7202……7938	category_id_2

　　Row Data数据统计：

起始位置	字段	描述
7939……59887	category_id	字段对应词条int流
59888……59898	category_id	词条长度int流
59899……60989	category_id	字典词条数据
60990……3525432	product_id	实际数据int流
3525433……3527085	brand_id	标识IF NULL的byte流
3527086……5708142	brand_id	实际数据int流
5708143……7855016	price	double类型
7855017……7855212	category_id_2	字段对应词条int流
7855213……7855219	category_id_2	词条长度int流
7855220……7855289	category_id_2	字典词条数据

　　在ORC文件的int类型和string类型保存时，会有一个byte流用于记录字段的某个记录是否为null，根据统计只有brand_id 字段的count值不足100000条，也就是说除了brand_id 字段之外，其他字段中没有null值。所以在上面Row Data表中，只有brand_id有一个对应的IF NULL标识流。一个String类型，会将词条数据保存在字节流中，然后一个int流记录每个词条的长度，另外一个int流用于指定字段某个记录对应字典词条中的哪一个。
　　
　　这部分最后记录了每一个字段的存储方式，统计如下

字段	类型	存储方式
STRUCT		DIRECT
category_id	String	DICTIONARY_V2
product_id	Int	DIRECT_V2
brand_id	Int	DIRECT_V2
price	Double	DIRECT
category_id_2	String	DICTIONARY_V2