分区表和分桶表区别

16 篇文章 3 订阅
12 篇文章 2 订阅

二者的区别

(1)分区和分桶都是细化数据管理,但是分区表是手动添加区分,由于hive是读模式,所以对添加进分区的数据不做模式校验。分桶表的数据时按住某些分桶字段进行hash散列 相乘的多个文件,所以数据的准确性高很多.

(2)分区表是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹

(3)分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区 分,如要按照name属性分为3个桶,就是对name属性值的hash值对3取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件.

归纳总结两者的区别

从表现形式上

        分区表是一个目录,分桶表是文件

从创建语句上

        分区表使用partitioned by 子句指定,以指定字段为伪列,需要指定字段类型
        分桶表由clustered by 子句指定,指定字段为真实字段,需要指定桶的个数

从数量上

        分区表的分区个数可以增长,分桶表一旦指定,不能再增长

从作用上

        分区避免全表扫描,根据分区列查询指定目录提高查询速度
        分桶保存分桶查询结果的分桶结构(数据已经按照分桶字段进行了hash散列)。
        分桶表数据进行抽样和JOIN时可以提高MR程序效率

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值