Hive分桶表

1.创建分桶表
在这里插入图片描述
2.导入数据到分桶表中
在这里插入图片描述
附:student.txt内容如下
在这里插入图片描述
发现并未成功分为4个桶
在这里插入图片描述
创建分桶表时,数据通过子查询的方式导入
1)先建一个普通的stu表
在这里插入图片描述
2)向普通的stu表中导入数据
在这里插入图片描述
3)清空stu_buck表中数据
在这里插入图片描述
4)导入数据到分桶表,通过子查询的方式
在这里插入图片描述
5)发现还是只有一个分桶
在这里插入图片描述
6)需要设置以下属性
在这里插入图片描述
可见4个分桶
在这里插入图片描述
在这里插入图片描述
可见前3个除4余数为0,第一个桶。4-6除4余数为1,第二个桶。7-9除4余数为2,第三个桶。10-12除4余数为3,第四个桶。
3.分桶抽样查询
对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。
查询表stu_buck中的数据。
在这里插入图片描述
在这里插入图片描述
注:tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y) 。
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了4份,当y=2时,抽取(4/2=)2个bucket的数据,当y=8时,抽取(4/8=)1/2个bucket的数据。
x表示从哪个bucket开始抽取,如果需要取多个分区,以后的分区号为当前分区号加上y。
例如,table总bucket数为4,tablesample(bucket 1 out of 2),表示总共抽取(4/2=)2个bucket的数据,抽取第1(x)个和第3(x+y)个bucket的数据。
若table总bucket数为16,tablesample(bucket 1 out of 4),表示总共抽取(16/4=)4个bucket的数据,抽取第1(x)个、第5(x+y)个、第9(x+2y)和第13(x+3y)bucket的数据。
注意:x的值必须小于等于y的值,否则
FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值