为什么在doris/starrocks中建表必须指定分桶键

在工作中,发现starrocks建表语句中必须指定分桶键,对比比较熟悉的hive,很疑惑,明明是在分区的基础上才会分桶,在starrocks里为什么可以直接不分区而分桶,在网上没找到答案,看了官方文档明白了:数据分布 @ Data_distribution @ StarRocks Docs

总结一句话:在starrocks中,是使用hash算法来分桶得出的tablet来进行数据备份的,故建表时必须指定分桶键

下文简洁说原因: 

 1、存储:

  • 在starrocks一张table会被拆成多个Tablet来存
  • 这些Tablet又会在多个BE中存多个副本,来保证数据的高可靠

  • 具体原理:

     故:

  • tablet是starrocks中是数据均衡和恢复的最⼩单位

  • 数据导入和查询最终都下沉到所涉及的 Tablet 副本上

2、数据分布

在starrocks中有两种数据分布方式:

        

  • Hash 数据分布方式:一张表为一个分区,分区按照分桶键和分桶数量进一步进行数据划分。——不分区只分桶

  • Range+Hash 数据分布方式:一张表拆分成多个分区,每个分区按照分桶键和分桶数量进一步进行数据划分。——分区+分桶

其中:

  • sr中分桶算法是hash算法,即将有相同分桶键的哈希值的数据存到一个tablet里
  • 又是按照tablet来在BE备份,来存储
  • 所以sr建表必须指定分桶键

(在sr中仍是分区比分桶范围更大,只不过对比hdfshdfs是按文件存,不分区,就存储整个文件,而sr是按照更细粒度的tablet来存)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值