Hive分区就是在HDFS上创建独立的文件夹,该文件夹下是该分区的所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择来查询所需要的指定分区,这样的查询效率会提高很多。
1、引入分区表
最终呈现的效果就是在HDFS上按照分区的目录存储文件:
/user/hive/warehose/log/201801/01/dept.log
/user/hive/warehose/log/201801/02/dept.log
/user/hive/warehose/log/201801/03/dept.log
2、创建分区表
创建分区的关键语句是partitioned by (分区名 类型):
create table dept_partition(
deptno int,dname string,loc string
)
partitioned by (month string)
row format delimited fields terminated by '\t';
3、加载数据到分区表中
load data local inpath '/opt/module/datas/dept.txt' into table dept_partition partition(month='201801');
4、查询分区表中的数据
单分区查询:
select * from dept_partition where month='201801';
多分区联合查询: