Hive动态分区

提高查询和检索的性能

开启支持动态分区

set hive.exec.dynamic.partition=true;	
默认:false

set hive.exec.dynamic.partition.mode=nostrict;
默认:strict(至少有一个分区列是静态分区)

相关参数:

set hive.exec.max.dynamic.partitions.pernode;
每一个执行mr节点上,允许创建的动态分区的最大数量(100)

set hive.exec.max.dynamic.partitions;
所有执行mr节点上,允许创建的所有动态分区的最大数量(1000)

set hive.exec.max.created.files;
所有的mr job允许创建的文件的最大数量(100000)

创建动态分区

1、首先创建一个静态分区表

create table psn23(
id int,
name string,
likes array <string>,
address map < string,string >
)
partitioned by(sex string, age int)   //定义静态分区表
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

2、插入数据的时候 需要 写明 distribute 这个

from psn22
insert overwrite table psn23 partition(age,sex)
select id,name,likes,address,sex,age distribute by age,sex;
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值