分桶抽样查询的解释

本文介绍了分桶抽样的概念,强调开启分桶的重要性,并详细解释了如何通过tablesample进行抽样查询。通过实例展示了不同bucket值对抽样结果的影响,以及数据选择的逻辑。
摘要由CSDN通过智能技术生成

分桶

首先要开启分桶 ,不然一顿操作猛如虎,回头一看250
set hive.enforce.bucketing=true;
创建表时 + clustered by (id) into 4 buckets 根据id分成4个桶

查询时抽样 select * from tbname tablesample (bucket 1 out of 4 on id);

create table tb_user2
(
id int,
name string,
likes array,
addrs map<string, string>
)
clustered by (id) into 4 buckets
row format
delimited
fields terminated by ‘,’
collection items terminated by ‘-’
map keys terminated by ‘:’
lines terminated by ‘\n’;

insert into table tb_user2 select id, name, likes, addrs from tb_user1;
此时hdfs 中 tb_user2 000000_0,000001_0,,000002_0,000003_0 共4个文件

问题1:分桶的作用,说的明白吗 ?

抽样查询:
select * from tb_user2 tablesample(bucket 3 out of 4 on id);
select * from tb_user2 tablesample(bucket 3 out of 8 on id);
sel

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值