Apache Doris (十一) ：数据存储模型之Aggregate数据存储模型

最新推荐文章于 2024-02-18 16:48:22 发布
最新推荐文章于 2024-02-18 16:48:22 发布
阅读量580 收藏 1
点赞数 2
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： database sql 数据库 数据仓库 etl 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131446427
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 30 订阅
订阅专栏
Apache Doris 的 Aggregate 数据存储模型用于报表和多维分析，支持SUM, MIN, MAX, REPLACE等聚合函数。文章详细介绍了如何通过AGGREGATE KEY创建表，以及导入数据时的聚合、保留明细数据和数据更新的聚合过程。" 132545903,19673917,使用R语言分析数据集的自相关性和显著相关性,"['r语言', '统计学', '数据分析']
摘要由CSDN通过智能技术生成

目录

1. Aggregate 数据存储模型

1.1 导入数据聚合

1.2 保留明细数据

1.3 导入数据与已有数据聚合

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。

Doris 数据存储模型上目前分为三类: AGGREGATE KEY, UNIQUE KEY, DUPLICATE KEY，三种存储模型中数据都是按KEY进行排序。不同的数据模型有不同的使用场景。下面我们分别介绍。

1. Aggregate 数据存储模型

在创建Doris表时，可以指定key_

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
Apache Doris数据分析综合案例实战
05-07
在此基础上，可以进一步集成Apache Doris等分布式存储引擎，实现高效的数据查询和分析功能。 #### 四、服务器环境介绍 本项目涉及多台服务器，主要包括以下配置： - **主机名**：node01、node02、node03 - **操作...
Doris：数据表设计
m0_37559973的博客
10-06 2397
Doris的数据表设计及基本操作
Doris三种数据模型
weixin_36190755的博客
04-22 3467
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。 Doris 的数据模型主要分为3类: Aggregate Uniq Duplicate Aggregate 模型 聚合模型 假设有如下表，其中aggregate key为user_id,date
Apache Doris三种数据模型(Aggregate、Uniq、Duplicate)的使用及其注意点
Bulut0907
10-26 1万+
目录1. key和value2. 数据模型2.1 Aggregate数据模型 1. key和value 这里的key并不是索引的意思，下面根据情况具体说明： Aggregate数据模型：key为聚合的键，value为聚合的值 Uniq数据模型：key为聚合的键，value为聚合的值 Duplicate数据模型：key为建表时指定的duplicate key(sorted column，只是用来排序)，其余字段为value rollup 作用于Aggregate和Uniq数据模型：key为聚合的键，val
Doris--基础--10--数据模型
zhou920786312的博客
03-10 1294
数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。适用场景：既没有聚合需求，又没有主键唯一性约束的原始数据的存储。
Apache Doris 数据建模之 Aggregate Key 模型
锋哥聊DORIS数仓
10-10 618
但是因为 Doris 它最早是给凤巢的一个广告报表做的，广告报表有一个很大的特点，就是它只关心统计分析的结果，而不太关心明细的数据，所以 Doris 最早一代的数据模型，是一个聚合的模型。通过上面的图我们可以看到，这是一个典型的用户信息和访问行为的事实表。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性，特别是在聚合模型上做count计算，可能会导致结果不准确，针对这种情况我们怎么去解决。还有在这个三种数据模型之上的数据分区分桶的策略。
Apache Doris数据分析超级工具 学习手册
最新发布
05-07
### Apache Doris 数据分析超级工具学习手册 #### 一、Apache Doris 概述 **1.1 前言** Apache Doris 是一款专为高效数据分析设计的强大工具，最初由百度大数据部门开发，名为百度Palo。2017年，这款软件被开源，...
基于Apache Doris的数据中台建设思路规划
03-06
### 基于Apache Doris的数据中台建设思路规划 #### 一、概述 随着大数据技术的发展，数据中台的概念逐渐被广泛接受并应用于实际业务中。数据中台旨在通过集中管理和处理数据，为企业提供更加高效、灵活的数据服务...
ApacheDoris在小米数据场景的落地实践.pptx
09-26
Apache Doris在小米数据场景的落地实践展示了其在大数据分析领域的高效能和优化潜力。小米作为一家技术驱动的公司，对数据处理有着极高的需求，Apache Doris因其出色的查询性能和易用性成为了其在线分析处理（OLAP）...
孵化器-doris：Apache Doris（正在孵化）
02-28
Doris主要集成了Google Mesa和Apache Impala的技术，它基于面向列的存储引擎，并且可以通过MySQL客户端进行通信。 3.用户案例 Doris不仅可以提供高并发的低延迟点查询性能，还可以提供即席分析的高吞吐量查询。 ...
Doris 数据模型—Aggregate 模型
热门推荐
01-11 3万+
Doris的key列是建表语句中指定的列，建表语句中的关键字’unique key’或’aggregate key’或’duplicate key’后面的列就是 Key 列，除了 Key 列剩下的就是 Value 列。因为在实现上，我们可以通过如“导入时对行进行计数，保存 count 的统计信息”，或者在查询时“仅扫描某一列数据， 获得 count 值”的方式，只需很小的开销，即可获得查询结果。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性。
Doris存储层设计介绍1——存储结构设计解析（索引底层结构）
爱吃辣条的博客
02-18 4179
Doris存储层设计介绍1——存储结构设计解析（索引底层结构）
【大数据 - Doris 实践】数据表的基本使用（三）：数据模型
书山有路，学海无涯。记录成长，追逐梦想
10-17 919
Aggregate 模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对 count(*) 查询很不友好。同时因为固定了 Value 列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。
doris--Aggregate、UNIQUE、Duplicate、索引
Y521316的博客
05-26 1747
doris--Aggregate、UNIQUE、Duplicate、索引
一文介绍Doris
阳阳阳的博客
02-28 2303
关于Doris，你想要的这里都有。
Doris三种数据模型Aggregate、Uniq、Duplicate使用
weixin_42886699的博客
08-22 893
3. ⽤户进⾏查询时，在BE后端可能不同insert批次的数据未进⾏聚合，此时会对符合查询条件的数据进⾏内部聚合(不⽤⽤户调 ⽤group by，会扫描所有列的数据)后，再返回给客户端。根据user_id, username这2个key进⾏数据的聚合，其余字段按replace⽅式进⾏聚合。->作⽤于Aggregate和Uniq数据模型：key为聚合的键，value为聚合的值。Aggregate数据模型：key为聚合的键，value为聚合的值。Uniq数据模型：key为聚合的键，value为聚合的值。
Doris-----Aggregate 聚合模型及案例实现
m0_53400772的博客
05-26 2145
表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的AggregationType 进行聚合。查看数据的时候发现，数据只剩下6条了，就是因为再key相同的时候，将后面的结果聚合了。SUM：求和，多行的 Value 进行累加。MAX：保留最大值。
Doris 数据模型-Aggregate 模型（十）
weixin_46039745的博客
11-22 227
Doris 的数据模型主要分为 3 类：Aggregate、Uniq、Duplicate表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列）。没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的AggregationType 进行聚合。
【Doris】Doris存储层设计介绍1——存储结构设计解析
m0_54252387的博客
07-11 3871
1 整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。本文主要通过阅读Doris BE模块代码，详细分析了Doris BE模块存储层的实现原理，阐述和解密Doris高效的写入、查询能力背后的核心技术。其中包括Doris列存的设计、索引设计、数据读写流程、Compaction流程、Tablet和Rowset的版本管理、数据备份等功能。这里会通过三篇文章来逐步进行介绍，分别为《Doris存储层设计介绍1——存储结构
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值