hive的分区

表分区

•分区列对应目录

•作用：辅助查询，缩小查询范围，加快数据的检索速度和对数据按照一定的规格和条件进行管理

•添加分区

alter table ods_cities add if not exists partition(year='2015', month='09', day='01') location '/user/xiaoju/data/bi/gal_dw/ods_cities/2015/09/01';

•查看分区

show partitions ods_cities;

•删除分区（内部表会对应删除数据）

alter table ods_cities drop partition(year='2015', month='09', day='01');

 

•HIVE默认是静态分区

•静态分区语句

insert overwrite table test_static_pt_table partition (month=‘05’,day=’10’)
select url
from test_table;

•查询分区

Hive> show partitions test_static_pt_table;
OK
month=05/day=10

•开启动态分区命令

set hive.exec.dynamic.partition=true;  --允许使用动态分区可通过set hive.exec.dynamic.partition;查看
set hive.exec.dynamic.partition.mode=nonstrict;   --当需要设置所有列为dynamic时需要这样设置
set hive.exec.max.dynamic.partitions=1000;  --如果分区总数超过这个数量会报错
set hive.exec.max.dynamic.partitions.pernode=1000;  --单个MR Job允许创建分区的最大数量

•动态分区语句

insert overwrite table test_dynamic_pt_table 
partition(month=‘06’, day) --注意不能父分区是dynamic而子分区是static
select url,day  --注意day一定要放在最后，这里可以对分区字段进行一些格式化
from test_table where substr(day,1,7)=‘2015-06’;

•查询分区

hive> show partitions test_dynamic_pt_table;
OK
month=06/day=2015-06-14
month=06/day=2015-06-15