Hive：分区&分桶

分区表

        在Hive查询中一般会扫描整个表内容，当数据量比较大的时候，机器的负担是很重的，而且有时候只需要扫描表中关心的一部分数据，因此就引入了分区概念。

        分区表实际上就是对应一个HDFS上独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

  静态分区

    创建分区表： 

create table order_partition(
order_no string,
event_time string
)
PARTITIONED BY(event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

        PARTITIONED BY  指定分区名， 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。  （分区名不是已有字段名）

    导入数据

        1、从文件系统/本地导入

load data local inpath '/home/hadoop/data/order.txt' 
overwrite into table order_partition 
PARTITION(event_month='2014-05');

        导入数据时，指定分区信息。

 

        注：分区是以字段的形式在表结构中存在，通过describetable命令可以查看到字段存在， 但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列） 。 

hive > DESC order_partiton
col_name        data_type       comment
order_no                string                                      
event_time              string                                      
event_mont