Doris数据分桶最佳实践

最新推荐文章于 2024-05-31 17:33:32 发布
最新推荐文章于 2024-05-31 17:33:32 发布
阅读量255 收藏
点赞数 3
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangleigiser/article/details/136940188
版权

Doris不合理的分桶会影响查询效率，或者带来太多元数据的存储压力。
下面介绍下Doris数据分桶最佳实践
在这里插入图片描述

wangleigiser
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Doris的分区表和分桶表
shangjg3的博客
11-22 434
如果指定为 SSD，则数据初始存放在SSD上。如按天分区，当每天的数据量差异很大时，可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择区分度大的列。此时，当多个点查询并发时，这些查询有较大的概率分别触发不同的分桶扫描，各个查询之间的IO影响较小（尤其当不同桶分布在不同磁盘上时），所以这种方式适合高并发的点查询场景。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。下面通过示例说明，进行分区的增删操作时，分区的变化。
Doris使用规范（最佳实践）
03-17
【强制】** 如果分桶字段存在超过 30% 的数据倾斜，则禁止使用 Hash 分桶策略，改为使用 Random 分桶策略。 **说明：** 1. **目的：** 解决数据倾斜问题，提高查询效率。 2. **原因：** - Hash 分桶策略在数据...
【Doris】数据表设计 —— 在分区与分桶的设计上提高 [ 查询效率 ]
yuanling_123的博客
05-12 2453
Doris 分区与分桶介绍
Apache Doris 基础 -- 数据表设计（分区分桶）
最新发布
chinusyan的专栏
05-31 1373
Apache Doris 基础 -- 数据表设计（分区分桶）
Doris 写入流程 列存储 分区分桶 读取流程 向量化引擎
vmaps的博客
03-05 497
Doris 是一个 MPP（大规模并行处理）分析型数据库，通常用于实时分析场景。它结合了列式存储、向量化查询引擎等技术来提供高性能的查询能力。下面我将简单介绍 Doris 的写入流程、列存储、分区分桶规划，以及读取流程和向量化引擎的调用。
Doris中分区和分桶使用教程
yqj234的专栏
08-28 1036
可以解决数据倾斜问题，按天进行分区，那么可能某天的数据量会很大，那么可以调整分桶的数量来达到数据均衡分布的效果，在选着分桶列时要选择数据量差异较大的列。在指定分区列时，可以在Key中再指定一个字段作为分区列，插入数据时，会首先按照分区列的值依次进行比较。PARTITION `p_city1` VALUES IN ("浦东","闵行"),PARTITION `p_city2` VALUES IN ("海淀","昌平"),PARTITION `p_city3` VALUES IN ("太原","忻州")
Doris的分区Partition和分桶Bucket介绍
wt334502157的博客
05-12 3825
Range分区是一种基于分区键对表进行分区的方式，分区键指的是表中的某一列，而Range则是指这个列的值的范围。使用Range分区，可以将数据按照列的值的范围进行划分，将数据分散到不同的节点上，以实现分布式存储和查询分区列通常为时间列，以方便的管理新旧数据Partition 支持通过仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。也支持通过指定上下界，生成一个左闭右开的区间当不使用Partition建表时，系统会自动生成一个和表名同名的，全值范围的 Partition。
【推荐】最强大数据学习与最佳实践资料合集（基础+架构+数仓+治理+案例）（100份）.zip
10-18
推荐，最强大数据学习与最佳实践资料合集，基础+架构+治理+案例，共100份。 一、基础篇 快手EB级HDFS挑战与实践 Hive任务开发规范 一文看懂Hadoop生态圈 资料-CentOS7搭建Hadoop-2.7.7集群 ClickHouse官方中文文档 ...
Flink同步Hdfs数据到doris
10-19
**最佳实践** - 数据分片：为提高导入效率，可以考虑对HDFS上的大文件进行分片处理，然后使用多个并行任务同时导入Doris。 - 数据分区：根据业务需求，合理设计Doris的分区策略，可以提高查询性能。 - 拓展性：随着...
Apache Doris 用户案例集
06-05
为了帮助更多人更好地使用 Apache Doris ，我们从过去一年间 Apache Doris 在互联网、金融、物流、零售等众多行业的用户应用实践中，精心挑选出更具代表性和更具启发意义的最佳实践，并收录在《Apache Doris 用户...
Apache Doris 1.1.2 FE 安装包
10-02
- **分桶策略**：使用分桶（Bucket）提高数据分布均匀性，优化 JOIN 操作。 - **索引设计**：合理设置主键和二级索引，加快查询速度。 - **SQL 支持**：Doris 支持丰富的 SQL 功能，包括 SELECT、JOIN、GROUP BY...
Doris实战——拈花云科的数据中台实践
爱吃辣条的博客
03-02 1978
Doris实战——拈花云科的数据中台实践
Doris知识点总结2
爱吃辣条的博客
04-17 1825
Doris知识点总结2
Doris之分区分桶
南风知我意
10-27 4146
Doris 支持两层的数据划分。第一层是 Partition（分区），支持 Range （按范围）和 List（按枚举值） 的划分方式。第二层是 Bucket（分桶），仅支持 Hash 的划分方式。分区和分桶都是对数据进行横向分割
Doris入门篇-分区分桶实验
S1124654的博客
03-02 4080
Doris入门篇-分区分桶实验
Doris--数据表建表语法&数据划分（分区&分桶）
qq_46893497的博客
03-17 6149
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。
Doris-数据分区
weixin_51450341的博客
03-08 1354
支持BOOLEAN，TINYINT，SMALLINT，INT，BIGINT，LARGEINT.,CHAR...多种数据类型,当分区值为枚举值，只有当数据为目标分区枚举值其中之一时，才可以命中分区。Attention:分区的上界，前闭后开，当分区创建完成后，某个分区再被删除时，其他分区的范围并不受影响(分区空洞)，但分区空洞可以通过创建新的分区进行补充。PARTITION “分区名” VALUES IN ((“枚举值”,”枚举值”),(”枚举值”,”枚举值”))
一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘
锋哥聊DORIS数仓
02-22 714
数据分片（Sharding）是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和 IO 的瓶颈、使库表数据量可以无限拓展
Doris1亿数据量如何分区分桶
06-13
对于DorisDB，可以使用分区和分桶两种方式进行数据分片和存储。其中，分区是按照数据的某个维度进行划分，而分桶则是将数据均匀地分配到多个桶中进行存储。 对于1亿数据量的DorisDB，建议同时使用分区和分桶来进行数据存储，以提高查询性能和可扩展性。 具体的分区和分桶策略可以根据数据特点和查询需求来确定。以下是一些常见的分区和分桶策略： 1. 按照时间维度进行分区：如果数据具有时间属性，可以按照时间维度进行分区，例如按照年、月、日等进行划分。这样可以提高按时间范围查询的性能。 2. 按照地理位置维度进行分区：如果数据具有地理位置属性，可以按照地理位置维度进行分区，例如按照省、市、区等进行划分。这样可以提高按地理位置查询的性能。 3. 按照业务维度进行分区：如果数据具有不同的业务属性，可以按照业务维度进行分区，例如按照订单类型、商品类型等进行划分。这样可以提高按业务属性查询的性能。 4. 使用哈希分桶进行数据存储：可以使用哈希算法将数据均匀地分配到多个分桶中进行存储，这样可以提高查询性能和可扩展性。例如，可以根据主键或者某个关键字进行哈希分桶。 需要注意的是，在确定分区和分桶策略时，需要考虑到数据的分布情况、查询需求和硬件配置等因素，并进行充分的测试和评估，以确定最佳的分区和分桶方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值