Hive数据存储模型

一、hive的存储格式

1.TEXTFILE

常见的 txt、csv、tsv等文件都属于TEXTFILE。Hive 默认存储格式为 TEXTFILE,即创建表时如果不单独指定存储格式，则认为存储格式为TEXTFILE。存储格式为按行存储，内容为普通的文本格式，一般可以使用cat命令直接查看。TEXTFILE格式的数据文件无须任何处理即可导入Hive，文件每一行为一条记录，记录可用任意分隔符进行列分割，记录之间须以行结束符分割。Hive将TEXTFILE映射为表的过程中，将会逐个字符地判断是否为列分隔符或行分隔符。TEXTFILE支持使用Gzip压缩，但 Gzip 压缩后的文件将不再支持 MapReduce 分割机制，这意味着压缩后的文件不论有多少个HDFS块都只能被一个Map任务处理，即失去了使用集群并行处理的优势。

2.SEQUENCEFILE

SEQUENCEFILE是Hadoop提供的一种由“二进制序列化过的Key/Value字节流”组成的文本存储文件格式。其由于内容为二进制字节，所以无法通过cat命令查看原始字符，这可以抽象地理解为，在SEQUENCEFILE中每条记录均以键值对的方式进行存储，仅支持追加。与TEXTFILE类似，SEQUENCEFILE同样按行存储。
Hive无法直接导入SEQUENCEFILE格式的数据文件。数据须首先导入至TEXTFILE
格式的表中，然后再从 TEXTFILE格式的表中采用插入方式导入至SEQUENCEFILE格
式的表。
SEQUENCEFILE是可分割的文件格式，支持3种压缩选项。

(1)NONE：不压缩。

(2)RECORD(默认选项)：记录级压缩，压缩率低。

(3)BLOCK：块级压缩，压缩率高。

3.RCFILE

RCFILE(Record-Columnar File)是Facebook 开发的一种专门面向列的数据存储格式，不同于TEXTFILE和SEQUENCEFILE，RCFILE是基于行列混合存储思想的设计。
RCFILE遵循“先水平划分，再垂直划分”的设计理念:首先把Hive表水平切分成多个行组，保证同一行的数据位于同一节点，其次在行组内按照“列”垂直切分，实现列与列的数据在磁盘上呈现为连续的存储块。使用RCFILE的优势是既保证了每条记录所有列在同一个HDFS块，也可以做到当查询仅针对表中的少数几列时，可跳过不必要的列进行数据读取。RCFIE存储格式如图1.4所示

注意：与SEQUENCEFILE类似，Hive在导入RCFILE格式的数据文件时也需要经过 TEXTFILE 转换。

4.ORCFILE

ORCFILE(Optimized Row-Columnar File)是对RCFILE 的优化，可以提供一种高效的方法来存储Hive 数据。ORCFIE的特点是:支持压缩比很高的压缩算法，文件可切分，提供多种索引，支持复杂的数据结构。

二、hive的数据单元

1.数据库

数据库(Database)类似于RDBMS 中的数据库，在HDFS 中表现为 hive.metastore  warehouse.dir 目录下的一个文件夹，其本质是用于避免表、视图、分区、列等命名冲突的命名空间。

2.表

表(Tables)由列构成，在表上可以进行过滤、映射、连接和联合操作。表在HDFS中表现为所属数据库目录下的子目录,具体又分内部表和外部表。内部表类似于RDBMS中的表，由 Hive 管理。外部表指向已经存在HDFS中的数据，与内部表元数据组织是相同的，但其数据存放位置是任意的。外部表的真实数据不被Hive管理，即当删除一张内部表时，元数据以及 HDFS上的真实数据均被删除，而删除外部表则只会删除元数据而不会删除真实数据。

3.分区

每个表都可以按指定的键分为多个分区(Partitions)。分区的作用是提高查询的效率,其在 HDFS 中表现为表目录下的子目录。

4.分桶

根据表中某一列的哈希值可将数据划分为多个分桶(Buckets)，在HDFS中分表现为同一个目录下根据哈希散列之后的多个文件。
可以看到，Hive中的数据单元划分与RDBMS的物理型非常类似。但在Hive数据单元划分过程中还必须注意以下几点。
➢Hive 表没有主键。
➢Hive表(0.14版本前)不支持行级操作，新版本中行级操作效率也比较低。
➢Hive 表不支持批量 update 操作，但可以先删除、再添加。
➢Hive分区和分桶可以极大提升数据查询效率。

三、hive的存储模型

按照数据单元的划分结果，Hive数据在HDFS的典型存储结构中表现为以下形式
➢/数据仓库地址/数据库名称/表名称/数据文件(或分数据文件)。
➢/数据仓库地址/数据库名称/表名称/分区键/数据文件(或分桶数据文件)。
假设数据仓库地址 hive.metastore.warehouse.dir为“/hive/warehouse”，则可知如下
内容。

(1)“/hive/warehouse/”表示Hive 自带的“default”数据库位置。
(2)“/hive/warehouse /demo.db”表示数据仓库中存在“demo”数据库。
(3)“/hive/warehouse /demo.db/users”表示 demo 数据库中存在 users 表。
(4)“/ive/warehouse/demo.db/users/000000…”为demo 中 users 表里的数据文件。
(5)“/hive/warehouse /demo,db/orders/year-2018/part-0000……”表示 demo 中 orders表里的数据按照年份进行分区，这里显示的是分区year-2018下的数据文件。

Hive 数据存储模型的具体描述如图1.5所示。

在Hive 中，数据按分布的均匀情况可以分为正常的数据和倾斜的数据。数据倾斜就
是由于数据分布不均匀、数据大量集中到一点上造成的数据热点问题。分区是按照指定
的key 值来划分的，当大量相同的key值被分配到一个分区里时就会产生数据倾斜，在
后面的章节中还会讨论针对数据倾斜的解决方案。