doris通关之doris三种数据模型

最新推荐文章于 2024-12-03 22:11:59 发布
最新推荐文章于 2024-12-03 22:11:59 发布
阅读量997 收藏
点赞数
分类专栏： 数据仓库 文章标签： 数据库 mysql sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011624157/article/details/126814134
版权
本文详细介绍了Doris的三种数据模型：Aggr（聚合模型）、Uniq（唯一主键模型）和Duplicate（冗余模型）。在Aggr模型中，数据根据Key进行聚合，Value按设定的AggregationType聚合。Uniq模型提供唯一主键约束，适用于留存分析等场景。Duplicate模型则不进行聚合，仅排序，适合日志分析等场景。
摘要由CSDN通过智能技术生成

在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column 用于描述一行数据中不同的字段。
Column可以分为两大类：Key（维度列）和Value（指标列）
Doris 的数据模型主要分为3类:

  • Aggregate
  • Uniq
  • Duplicate
    在这里插入图片描述

1.Aggr聚合模型在这里插入图片描述

这是一个典型的用户信息和访问行为的事实表。 在一般星型模型中，用户信息和访问行为一般分别存放在维度表和事实表中。这里我们为了更加方便的解释 Doris 的数据模型，将两部分信息统一存放在一张表中。

表中的列按照是否设置了 AggregationType，分为 Key (维度列) 和 Value

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Doris（13）：数据模型
u013938578的博客
04-21 806
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column 用于描述一行数据中不同的字段。Column可以分为两大类：Key（维度列）和Value（指标列）
Doris的3种数据模型详解和数据仓库每一层的模型选用
大模型大数据攻城狮的专栏
03-22 748
Apache Doris是一个用于离线数据仓库开发的分布式SQL查询和分析引擎。在使用Doris进行离线数据仓库开发时，可以采用三种不同的数据模型：Duplicate模型、Aggregate模型和Unique模型。每种模型都有其适用的场景和特点，同时也对于不同层次的数据仓库有着不同的使用建议。
Doris数据模型
好好学习天天向上
04-16 1544
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
【大数据系列】二、Doris数据模型详解
qq_54375572的博客
12-03 2032
doris数据模型相关介绍，主要针对明细模型、主键模型跟聚合模型相关理论介绍和实际操作
Doris【数据模型】
xiayuhaisong的博客
03-02 1814
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
深入解析实时数仓Doris：三大数据模型详解
码到三十五
03-29 3813
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。Doris 的 key 列是建表语句中指定的列，建表语句中的关键字'unique key'或'aggregate key'或'duplicate key'后面的列就是 Key 列，除了 Key 列剩下的就是
doris的三种数据模型
qq_28203321的博客
09-22 2706
doris的三种数据模型： 一、Doris三种数据模型 Doris 的数据模型主要分为3类: - Aggregate - Uniq - Duplicate Aggregate 模型 聚合模型： 聚合模型需要用户在建表时显式的将列分为 Key 列和 Value 列。该模型会自动的对 Key 相同的行，在 Value 列上进行聚合操作。 当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 AggregationType 目前有以下
Doris 数据集成 Kafka
热门推荐
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Doris的数据模型（明细、主键、聚合）对比分析
JustinMars的博客
06-13 676
明细模型：适用于需要存储和查询完整原始数据的场景。 主键模型：适用于数据需要频繁更新的场景，通过主键保证数据的唯一性和一致性。 聚合模型：适用于需要快速查询汇总数据的场景，通过预先聚合数据提升查询性能。
基于Apache Doris的数据中台建设思路规划
03-06
3. **数据建模**：根据业务需求设计合理的数据模型。 4. **系统实施**：搭建Apache Doris集群，配置相关参数。 5. **数据迁移**：将现有数据迁移到新系统中。 6. **性能优化**：针对查询性能进行调优。 7. **运维...
Doris系列之数据模型
Allen_人工智能与大数据
08-17 2791
Doris系列之3种数据模型
Apache Doris 基础 -- 数据表设计（数据模型）
chinusyan的专栏
05-28 1962
Apache Doris 基础 -- 数据表设计（数据模型）
Doris数据划分和数据模型
互联网知识分享
08-15 287
中心事实表包含了核心业务指标，而维度表包含了与事实表相关的维度信息。雪花模型是星型模型的扩展，它在星型模型的基础上将维度表进一步细化。范围划分将数据根据指定的列的范围进行划分，例如按照时间范围或者按照分区键的取值范围进行划分。哈希划分将数据根据指定的列进行哈希计算，然后根据哈希值将数据均匀地划分到不同的分片中。、订单金额和下单时间等字段，现在要对订单表进行范围划分，根据下单时间将数据划分为每个月一个分片。进行数据分析和查询之前，需要对数据进行合理的划分和组织。列的范围进行划分，每个月一个分片。
Apache Doris三种数据模型(Aggregate、Uniq、Duplicate)的使用及其注意点
Bulut0907
10-26 1万+
目录1. key和value2. 数据模型2.1 Aggregate数据模型 1. key和value 这里的key并不是索引的意思，下面根据情况具体说明： Aggregate数据模型：key为聚合的键，value为聚合的值 Uniq数据模型：key为聚合的键，value为聚合的值 Duplicate数据模型：key为建表时指定的duplicate key(sorted column，只是用来排序)，其余字段为value rollup 作用于Aggregate和Uniq数据模型：key为聚合的键，val
Apache Doris系列之：数据模型
zhengzaifeidelushang的博客
08-02 857
也就是说，在 count() 查询中，Doris 必须扫描所有的 AGGREGATE KEY 列（这里就是 user_id 和 date），并且聚合后，才能得到语意正确的结果。因为在实现上，我们可以通过如“导入时对行进行计数，保存 count 的统计信息”，或者在查询时“仅扫描某一列数据，获得 count 值”的方式，只需很小的开销，即可获得查询结果。也就是说，只要保证导入的数据中，每一行的 Key 都不完全相同，那么即使在聚合模型下，Doris 也可以保存完整的明细数据。数据以表的形式进行逻辑上的描述。.
Doris数据表模型
weixin_67024075的博客
05-27 1444
表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。即使两行数据完全相同，也都会保留。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有 Key 列).一个人不能同时干两件事情，所以我加一个字段，让这个数据灌入的时间精确到时分秒，确保他组合起来的key都是唯一的，是不是就能搞定了？
doris默认数据模型
最新发布
01-16
在Apache Doris中，默认情况下并没有强制指定某一种特定的数据模型作为唯一默认选项。然而，在实际应用过程中，如果开发者未显式声明所使用的数据模型，则系统倾向于使用 **Duplicate** 模型[^1]。 #### Duplicate ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左林右李02

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值