hive--桶

桶:
set hive.enforce.bucketing = true; 使hive知道用表定义中声明的数量来创建桶

create table bucketed_wyp (id int, name string, age int, tel string) clustered by (id) sorted by (id asc) into 4 buckets;
<!--插入是一个mp任务-->
insert overwrite table bucketed_wyp select * from wyp; 
dfs -ls /user/hive/warehouse/bucketed_wyp; 

桶
(这里数据之间的tab消失了,但并不是真的消失了)

select * from bucketed_wyp tablesample(bucket 2 out of 4 on id);

取样

(这也是一个MR任务,而且取样返回的是2/4的数据)
select * from bucketed_wyp tablesample(bucket 2 out of 4 on rand());
使用rand()之后,返回随机,但是使用了桶之后,扫描的是一部分,不使用桶,扫描的是所有的表。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值