Doris的数据模型

最新推荐文章于 2024-12-03 22:11:59 发布
最新推荐文章于 2024-12-03 22:11:59 发布
阅读量303 收藏
点赞数 6
分类专栏： Doris 文章标签： 大数据 数据仓库 doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134653343
版权
Doris 专栏收录该内容
22 篇文章 6 订阅 ¥19.90 ¥99.00
订阅专栏
本文介绍了Doris的数据模型，主要包括Aggregate、Uniq和Duplicate三种类型。Aggregate模型通过预聚合减少查询计算量，适用于固定模式报表查询；Uniq模型保证主键唯一性；Duplicate模型则适合任意维度的Ad-hoc查询。文章通过实例展示了数据导入、聚合过程及模型的选择建议，强调了在不同场景下各模型的优缺点和适用范围。
摘要由CSDN通过智能技术生成

Doris 的数据模型主要分为3类：Aggregate、Uniq、Duplicate

1 Aggregate 模型

表中的列按照是否设置了AggregationType，分为 Key（维度列）和 Value（指标列）。没有设置AggregationType的称为 Key，设置了AggregationType的称为Value。

当我们导入数据时，对于

了解本专栏 订阅专栏 解锁全文
Doris 数据模型—Aggregate 模型
2401_84052244的博客
04-26 452
Doris的key列是建表语句中指定的列，建表语句中的关键字’unique key’或’aggregate key’或’duplicate key’后面的列就是 Key 列，除了 Key 列剩下的就是 Value 列。因为在实现上，我们可以通过如“导入时对行进行计数，保存 count 的统计信息”，或者在查询时“仅扫描某一列数据， 获得 count 值”的方式，只需很小的开销，即可获得查询结果。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性。
Doris 数据模型—Duplicate 模型
2401_84052244的博客
04-26 430
Duplicate 模型的主要业务场景是日志分析，也就是业务数据没有主键的场景，因为没有主键所以可以分析任意维度Duplicate 适合任意维度的 Ad-hoc 查询。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有 Key 列）
DORIS数据格式
09-04
描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862
Doris 数据类型
cai_and_luo的博客
07-09 1万+
Doris 数据类型TINYINT数据类型SMALLINT数据类型INT数据类型BIGINT数据类型LARGEINT数据类型FLOAT数据类型DOUBLE数据类型DECIMAL数据类型DATE数据类型CHAR数据类型VARCHAR数据类型HLL 数据类型BITMAP 数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 举例: mysql>
【大数据系列】二、Doris数据模型详解
最新发布
qq_54375572的博客
12-03 2034
doris数据模型相关介绍，主要针对明细模型、主键模型跟聚合模型相关理论介绍和实际操作
doris的三种数据模型
qq_28203321的博客
09-22 2707
doris的三种数据模型： 一、Doris三种数据模型 Doris 的数据模型主要分为3类: - Aggregate - Uniq - Duplicate Aggregate 模型 聚合模型： 聚合模型需要用户在建表时显式的将列分为 Key 列和 Value 列。该模型会自动的对 Key 相同的行，在 Value 列上进行聚合操作。 当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 AggregationType 目前有以下
Doris【数据模型】
xiayuhaisong的博客
03-02 1814
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
2.doris数据类型与分区
woshiwjma956的博客
01-10 1985
doris数据类型与分区
Doris 数据模型
菜如张学清的博客
01-05 2675
目录 基本概念 Aggregate 模型（聚合模型） 示例1：导入数据聚合 示例2：保留明细数据 示例3：导入数据与已有数据聚合 Uniq 模型（唯一主键） Duplicate 模型（冗余模型） ROLLUP 基本概念 前缀索引与 ROLLUP ROLLUP 的几点说明 聚合模型的局限性 Duplicate 模型 数据模型的选择建议 基本概念 在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数
Doris数据模型
Xlucas的博客
04-17 1187
本文档主要从逻辑层面，描述 Doris 的数据模型，以帮助用户更好的使用 Doris 应对不同的业务场景
Doris 数据模型—Unique 模型
2401_84052244的博客
04-26 339
Unique 模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用 ROLLUP 等预聚合带来的查询优势。对于聚合查询有较高性能需求的用户，推荐使用自1.2版本加入的写时合并实现。
Apache Doris支持的数据类型详解
热门推荐
Bulut0907
08-10 1万+
16字节高精度定点数，M 代表一共有多少个有效数字(precision，范围1 ~ 27)，D 代表小数位有多少个数字(scale，范围0 ~ 9)。3字节，日期时间类型，取值范围是：[‘0000-01-01 00:00:00’, ‘9999-12-31 23:59:59’]，打印的形式是’YYYY-MM-DD HH:MM:SS’：3字节，取值范围是：[‘0000-01-01’, ‘9999-12-31’], 默认的打印形式是’YYYY-MM-DD’变长字符串，M代表的是变长字符串的字节长度。...
Doris--基础--10--数据模型
zhou920786312的博客
03-10 1426
数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。适用场景：既没有聚合需求，又没有主键唯一性约束的原始数据的存储。
Apache Doris 基础 -- 部分数据类型及操作
chinusyan的专栏
06-13 1471
Apache Doris 基础 -- 部分数据类型及操作
大数据Doris（十五）：Doris表的字段类型
Lansonli（蓝深李）的博客
11-02 2054
M的范围是[1,27]，D的范围是[1,9]，另外，M必须要大于等于D的取值。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。范围: char(length)，变长字符串，长度length范围1~65535。
Doris数据类型与mysql数据类型对应
sunxunyong的博客
08-01 848
整数类型：TINYINT、SMALLINT、MEDIUMINT、INT和BIGINT，与MySQL中的对应类型相同。CHAR、VARCHAR、BINARY和VARBINARY，与MySQL中的对应类型相同。DATE、TIME、DATETIME和TIMESTAMP，与MySQL中的对应类型相同。浮点数类型：FLOAT、DECIMAL和DOUBLE，与MySQL中的对应类型相同。BOOLEAN，对应于MySQL中的BOOL类型。BLOB和TEXT，与MySQL中的对应类型相同。包括整数类型和浮点数类型。
Doris：数据表设计
m0_37559973的博客
10-06 4069
Doris的数据表设计及基本操作
Doris--数据表基本概念和字段类型
qq_46893497的博客
03-07 3359
doris表的基本概念，字段类型（特殊类型的使用场景），建表示例
doris数据模型的选择
07-12
在选择Doris的数据模型时，需要考虑以下几个因素： 1. 数据结构和查询需求： Doris支持两种主要的数据模型：OLAP（Online Analytical Processing）和OLTP（Online Transaction Processing）。OLAP模型适用于复杂的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值