分区表
在Hive查询中一般会扫描整个表内容,当数据量比较大的时候,机器的负担是很重的,而且有时候只需要扫描表中关心的一部分数据,因此就引入了分区概念。
分区表实际上就是对应一个HDFS上独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。
静态分区
创建分区表:
create table order_partition(
order_no string,
event_time string
)
PARTITIONED BY(event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
PARTITIONED BY 指定分区名, 一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。 (分区名不是已有字段名)
导入数据
1、从文件系统/本地导入
load data local inpath '/home/hadoop/data/order.txt'
overwrite into table order_partition
PARTITION(event_month='2014-05');
导入数据时,指定分区信息。
注:分区是以字段的形式在表结构中存在,通过describetable命令可以查看到字段存在, 但是该字段不存放实际的数据内容,仅仅是分区的表示(伪列) 。
hive > DESC order_partiton
col_name data_type comment
order_no string
event_time string
event_mont