【Doris 】Doris 分区与分桶

本文介绍了Doris的分区与分桶概念,旨在提高查询效率。分区是对数据进行水平切分,分桶则是垂直切分。Doris支持range和list分区,以及hash分桶。分区列必须为key列,动态分区提供了自动化管理。分桶注重数据分布均匀,减少查询IO影响。
摘要由CSDN通过智能技术生成

分区与分桶概述

分区与分桶秉承着"大而化小,分而治之"的目标,目的都是为了便于查询,提高查询的效率。

分区的定义: 对数据进行水平切分,水平切分之后数据是完全物理隔离的,每个分区即为一个物理文件夹。

比如一个网站每天的埋点行为日志数据量比较大,在查询时进行全表扫描耗费的资源非常多。那在这个情况大数据体量下,可以按照每天日期对数据表进行分区,不同日期的数据存放在不同的分区下,在查询时只要指定分区字段的值就可以直接从该分区查找。

分桶的定义: 对数据进行垂直切分,各个分桶相互独立,每个分桶即为一个文件。

比如我们按照name列分为4个桶,就是对name列值的hash值对4取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件、取模为3的数据存放到一个文件。

从上面可见,分区注重粗粒度,而分桶注重细粒度。同时需要注意的是这存在一定的担忧:分区容易造成数据倾斜。

今天主要讲讲,Doris分区与分桶。

Doris支持两级分区存储, 第一层为 range 分区,也可支持list方式, 第二层为 hash分桶。

Drois分区

注意点

(1)分区列必须为key列。

(2)分区列可以指定一列或多列。

(3)不论分区列是什么类型,在写分区值时,都需要加双引号。

(4)add p

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值