Apache Doris (十四) ：聚合模型的局限性、模型选择建议及列定义建议

最新推荐文章于 2024-06-20 14:56:45 发布
最新推荐文章于 2024-06-20 14:56:45 发布
阅读量434 收藏
点赞数
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： sql database 数据库 大数据 数据仓库 etl apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131484861
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 30 订阅
订阅专栏
Apache Doris 的聚合模型（Aggregate）在 count(*) 查询时效率低下，可通过增加 SUM 类型的 count 列来优化。Unique模型适合有唯一主键约束的场景，而Duplicate模型适用于无聚合和唯一性约束的原始数据存储。在数据模型选择时，应根据业务需求考虑预聚合、主键约束和Ad-hoc查询的性能。列定义时，推荐使用整型类型，注意列总字节不超过100KB。
摘要由CSDN通过智能技术生成

目录

1. 聚合模型的局限性

2.数据模型的选择建议

2.1 Aggregate数据模型选择

​​​​​​​​​​​​​​2.2 Unique数据模型选择

​​​​​​​​​​​​​​2.3 Duplicate数据模型选择

​​​​​​​3. 列定义建议

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

1. 聚合模型的局限性

以上Aggregate数据模型和Unique数据模型是聚合模型，Duplicate数据模型不是聚合模型，聚合模型存在一些局限性，这里说的局限性主要体现在select count(*) from table 操作效率和语意正确性两方面，下面我们针对 Aggregate 模型，来介绍下聚合模型的局限性。

在聚合模型中，模型对外展现的，是最终聚合后的数据。也就是说，在Doris内部任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性。我们举例说明。

假设表结构如下：

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
孵化器-doris：Apache Doris（正在孵化）
02-28
Doris主要集成了Google Mesa和Apache Impala的技术，它基于面向列的存储引擎，并且可以通过MySQL客户端进行通信。 3.用户案例 Doris不仅可以提供高并发的低延迟点查询性能，还可以提供即席分析的高吞吐量查询。 ...
Doris进阶——数据模型初识
weixin_59812175的博客
06-15 1850
Doris中数据模型的初识
Doris--基础--10--数据模型
zhou920786312的博客
03-10 1291
数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。适用场景：既没有聚合需求，又没有主键唯一性约束的原始数据的存储。
Doris和ClickHouse详细介绍、优缺点深析、使用场景与选型建议
weixin_48313678的博客
06-20 1817
Apache Doris（原名Palo）是一个现代化的MPP（大规模并行处理）数据库，最初由百度开发并开源。Doris旨在提供高性能的实时分析查询，特别适合处理大规模数据集。ClickHouse是由俄罗斯Yandex开发的开源列式数据库管理系统，专为高性能实时分析查询设计。它以其卓越的查询性能和高效的数据压缩闻名。选择Doris：如果你的应用场景需要实时数据导入和分析，且对易用性要求较高，Doris是一个不错的选择。选择ClickHouse。
一文看懂Doris数据模型（含样例，建议收藏）
luckcxy的专栏
03-15 2496
一文看懂Doris数据模型，包含：3种模型总结，模型必备知识，以及3种模型场景体验。
Doris数据模型
好好学习天天向上
04-16 1166
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
doris--Aggregate、UNIQUE、Duplicate、索引
Y521316的博客
05-26 1734
doris--Aggregate、UNIQUE、Duplicate、索引
incubator-doris:Apache Doris（正在孵化）
05-10
Apache Doris 百度镜像库 这里是由 Baidu Doris(Palo) 团队维护的 的镜像库。 该镜像库仅用于发布基于 Apache Doris 官方 Release 版本的 。包括快速的 Bug 修复和新功能更新。 这些 3 位迭代版本都在百度内部进行过...
Apache Doris
最新发布
07-20
- **起源与发展**：Apache Doris 最初由百度大数据部门研发，最初名为百度Palo。2018年，该项目被贡献至Apache软件基金会，并更名为Apache Doris。目前，在百度内部已有超过200个产品线采用此技术，部署规模超过1000...
Apache Doris 1.1.2 BE 安装包
10-02
Apache Doris 是一款高效、易用的开源列式数据库，主要应用于实时分析场景，如在线数据分析（OLAP）和大数据处理。在这个特定的压缩包中，我们关注的是Apache Doris的 Backend（BE）组件，它是Doris系统的核心部分，...
Apache Doris数据分析综合案例实战
05-07
### Apache Doris 数据分析综合案例实战 #### 一、背景介绍 随着互联网技术的发展和电商平台的崛起，诸如京东这样的大型电商平台在每年特定时间举办的大规模促销活动已成为吸引大量消费者参与的重要营销手段。京东...
Doris--数据表数据模型
qq_46893497的博客
12-03 100
为了得到正确的结果，我们必须同时读取 user_id 和 date 这两列的数据，再加上查询时 聚合，才能返回 4 这个正确的结果。因此，当业务上有频繁的 count(*) 查询时，我们建议用户通过增加一个值恒为 1 的， 聚合类型为 SUM 的列来模拟。因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。但是在 Doris 的聚合模型中，这种查询 的开销非常大。上面的例子， count(*) 的正确结果应该为 4。在其他数据库中，这类查询都会很快的返回结果。
下一代实时数据库：Apache Doris 【七】数据模型(1)
2301_79988566的博客
04-28 775
注意： Insert into 单条数据这种操作在 Doris 里只能演示不能在生产使用， 会引发写阻 塞。3)查看表可以看到，用户 10000 只剩下了一行聚合后的数据。而其余用户的数据和原始数据保 持一致。经过聚合，Doris 中最终只会存储聚合后的数据。换句话说， 即明细数据会丢失， 用户不能够再查询到聚合前的明细数据了。
Doris：数据表设计
m0_37559973的博客
10-06 2363
Doris的数据表设计及基本操作
【Doris】Doris核心功能介绍——数据模型和物化视图
m0_54252387的博客
07-11 3088
本次为大家带来的是第一期内容回顾：《Doris核心功能介绍——数据模型和物化视图》本期主讲人：缪翎百度研发工程师Doris PPMC讲座主要分为四部分内容：Doris是什么Doris的两种数据模型Doris的物化视图适用场景总结Doris是什么首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。使用上兼容MySQL协议，语法是标准的SQL。Doris本身不依赖任何其他系统，相比Hadoop生态产品更易于运维。应用场景包括：固定历史报表分析、实时数据分析
大数据Doris（四十）：聚合模型的局限性和ROLLUP的说明
Lansonli（蓝深李）的博客
12-24 899
也就是说，在 count(*) 查询中，Doris 必须扫描所有的 AGGREGATE KEY 列（这里就是 user_id 和 date），并且聚合后，才能得到语意正确的结果。因为在实现上，我们可以通过如“导入时对行进行计数，保存count的统计信息”，或者在查询时“仅扫描某一列数据，获得count值”的方式，只需很小的开销，即可获得查询结果。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性。同时，这种一致性保证，在某些查询中，会极大的降低查询效率。
Doris【基础篇】
xiayuhaisong的博客
02-29 2731
Doris（原百度Palo）是一款基于大规模并行处理技术的分布式SQL数据库。基于MPP的交互式SQL数据库，可以用于OLAP。MPP是将任务并行的分散到多个服务器和节点上，在每个节点上结算完后，将各个部分的结果汇总在一起得到最终的结果。
Doris的3种数据模型详解和数据仓库每一层的模型选用
大模型大数据攻城狮的专栏
03-22 554
Apache Doris是一个用于离线数据仓库开发的分布式SQL查询和分析引擎。在使用Doris进行离线数据仓库开发时，可以采用三种不同的数据模型：Duplicate模型、Aggregate模型和Unique模型。每种模型都有其适用的场景和特点，同时也对于不同层次的数据仓库有着不同的使用建议。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值