Doris 上卷（Rollup）和前缀索引

最新推荐文章于 2025-01-27 16:48:01 发布
最新推荐文章于 2025-01-27 16:48:01 发布
阅读量557 收藏
点赞数 24
分类专栏： Doris 文章标签： sql doris 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134726765
版权
Doris 专栏收录该内容
22 篇文章 6 订阅 ¥19.90 ¥99.00
订阅专栏
本文详细介绍了Doris中的ROLLUP概念，包括在Aggregate和Uniq模型中的应用，以及Duplicate模型中如何利用ROLLUP调整前缀索引以优化查询效率。ROLLUP不仅用于数据的上卷聚合，还可通过创建物化索引来改善特定查询的性能。通过前缀索引，Doris能够在匹配度更高的ROLLUP表上执行查询，从而提高查询速度。
摘要由CSDN通过智能技术生成

ROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。

1 基本概念

在Doris中，我们将用户通过建表语句创建出来的表称为Base表（Base Table）。Base 表中保存着按用户建表语句指定的方式存储的基础数据。

在Base表之上，我们可以创建任意多个ROLLUP表。这些ROLLUP的数据是基于Base 表产生的，并且在物理上是独立存储的。

ROLLUP表的基本作用，在于在Base表的基础上࿰

了解本专栏 订阅专栏 解锁全文
大数据Doris（三十九）：Duplicate 模型中的 ROLLUP
Lansonli（蓝深李）的博客
12-22 570
底层的数据存储，是按照各自建表语句中，AGGREGATE KEY、UNIQ KEY 和 DUPLICATE KEY 中指定的列进行排序存储的。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说，效率上可能无法满足需求。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。可以看到，ROLLUP 和 Base 表的列完全一样，只是将 user_id 和 age 的顺序调换了。而前缀索引，即在排序的基础上，实现的一种根据给定前缀列，快速查询数据的索引方式。
Apache Doris (二十一) ：Doris Rollup物化索引创建与操作
qq_32020645的博客
07-09 541
抓紧订阅专题！ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。在 Doris 中，我们将用户通过建表语句创建出来的表称为 Base 表（Base Table）。Base 表中保存着按用户建表语句指定的方式存储的基础数据。,“物化”是因为其数据在物理上独立存储，而“索引”的意思是,建立 Rollup 时可只选取 Base Table 中的部分列作为 Schema,Schema 中的字段顺序也可与 Base Table 不同,
Doris之rollup上卷及物化视图
weixin_45012397的博客
05-28 1433
通过建表语句创建出来的表称为 Base 表（Base Table,基表）在 Base 表之上，我们可以创建任意多个 ROLLUP 表。这些 ROLLUP 的数据是基于 Base 表产生的，并且在物理上是独立存储的。
【数据库】SQL中的rollup() 函数的作用？
Donald_Knight的博客
07-13 4149
SQL中的rollup() 函数的作用
Apache Doris的Rollup和前缀索引
Bulut0907
10-26 2125
目录1. Aggregate表(Uniq表同理)添加rollup2. Duplicate表添加rollup3. key和前缀索引的关系、查询命中前缀索引的规则3.1 key和前缀索引的关系3.2 查询命中前缀索引的规则 1. Aggregate表(Uniq表同理)添加rollup 添加rollup mysql> mysql> alter table table1 add rollup rollup_city(name, city_code, pv); Query OK, 0 rows af
Doris最全使用手册
热门推荐
数据挖掘+大数据研发+算法学习
09-17 1万+
doris常用的理论基础
Apache Doris (二十二) ：Doris Rollup物化索引作用及使用注意点
qq_32020645的博客
07-10 306
抓紧订阅专题！
大数据Doris（三十七）：索引和Rollup基本概念和案例演示
Lansonli（蓝深李）的博客
12-17 1055
在 Doris 中，我们将用户通过建表语句创建出来的表成为 Base 表（Base Table）。Rollup可以理解为表的一个物化索引结构，Rollup可以调整列的顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。可以看到，ROLLUP 和 Base 表的列完全一样，只是将 user_id 和 age 的顺序调换了。这些 ROLLUP 的数据是基于 Base 表产生的，并且在物理上是独立存储的。ROLLUP 表的基本作用，在于在 Base 表的基础上，获得。以site_visit表为例。
Doris学习笔记之数据表的创建
四国棋客
07-02 6225
本文介绍Doris中数据表的创建，包括用户和数据库的创建、Doris表的基本概念、数据划分、Rollup上卷、物化视图、数据表的修改和删除，并辅以多个案例进行演示
Doris进阶——Rollup和前缀索引
weixin_59812175的博客
06-17 1084
Doris中Rollup和前缀索引
Apache Doris数据模型详解及适用场景
程序员星痕的博客
10-26 3026
数据模型 Aggregate模型及Uniq模型 聚合模型中的列分为两种，Key (维度列) 和 Value（指标列），当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 在Aggregate聚合模型下，Doris 也可以保存完整的明细数据，例如增加时间列。在 Base 表之上，我们可以创建任意多个 ROLLUP 表，获得更粗粒度的聚合数据。 在某些多维分析场景下，用户更关注的是如何保证 Key 的唯一性，因此，引入了 Uniq
大数据--数据仓库6--doris深入总结
数据挖掘+大数据研发+算法学习
07-03 4733
目录 一：doris角色 二：doris关键特性 三：分区和分桶 四：rollup 4.1作用： 4.2 概念： 4.3 rollup说明 五：前缀索引 六：数据模型 6.1 aggregate聚合模型 6.1.1 导入数据聚合 6.1.2 保留明细数据 6.2.3 导入数据与已有数据聚合 6.1.4 局限性 6.2 uniq主键模型 6.3 duplicate明细模型 6.4 数据模型的选择建议 七.mysql和doris区别 八：总结 一：doris角色 二
实时数仓利器之Doris
weixin_48485290的博客
12-24 7224
doris采用列式存储格式、索引类型丰富、join支持能力强。
FastAPI + GraphQL + SQLAlchemy 实现博客系统
大白菜代码的博客
01-26 503
使用 FastAPI 提供高性能的 Web 服务使用 Strawberry 实现 GraphQL API使用 SQLAlchemy 进行数据库操作实现了完整的认证机制遵循了最佳安全实践当然图片上传一类的，还要跟以前一样写，但现在我们只写了一个/api接口就完成了项目所有接口。
【趣学SQL】第九章：SQL 未来趋势 9.1 新兴 SQL 技术与工具——当SQL遇见“量子计算“和“元宇宙“的奇幻漂流
01-23 831
欢迎来到「SQL未来科技博览会」！今天我们将化身"时间旅行导游"，带您穿越到2030年，看看SQL如何在大数据、AI和云计算的加持下，从"传统老管家"进化成"赛博数字生命体"。🚀🔮。
Spring中的事务管理器TransactionManager
分享程序员相关精选文章、热点资讯。
01-23 591
在Spring框架中，事务管理器（TransactionManager）是用于管理事务的重要接口。它提供了对事务的全面控制，包括事务的状态管理和资源管理等功能。本文将详细介绍TransactionManager的主要功能、不同类型的实现以及与Spring的集成方式，并结合使用场景进行说明。
PostgreSQL中级专家是什么意思？
cqsizhuang的博客
01-24 369
无论是数据损坏、连接异常还是性能急剧下降等问题，他们都能运用自己的专业知识和经验，通过查看日志、分析系统状态等手段，准确判断问题所在，并提出有效的解决方案。通过分析查询日志和执行计划，他们能够找出影响数据库性能的瓶颈，并采取有效的优化措施，如创建合适的索引、调整查询语句、优化数据库配置参数等，从而提高数据库的响应速度和吞吐量。在数据库设计方面，中级专家能够根据业务需求设计出高效的数据库架构。他们会考虑到数据的关联性、数据量的增长趋势等因素，合理地设计表结构、字段类型和约束条件，以确保数据库系统的高效运行。
基于PostgreSQL的自然语义解析电子病历编程实践与探索（下）
最新发布
AllenLV的博客
01-27 723
采用高速的固态硬盘（SSD）能够显著提高数据的读写速度，相比传统的机械硬盘，SSD 的随机读写性能优势明显，能够加快电子病历数据的存储和查询速度。同时，要注意索引的维护成本，过多的索引可能会影响数据插入、更新和删除的性能，因此需要在查询性能和数据操作性能之间进行平衡。合理使用索引，确保查询条件和连接条件上的列都有适当的索引。在电子病历系统中，可以创建一个视图，只包含患者的基本信息和病情摘要，而不包含敏感的检查结果和治疗细节，然后将这个视图授权给一些只需要了解患者基本情况的用户，从而提高数据的安全性。
java提取系统应用的日志中的sql获取表之间的关系
沉淀的博客
01-22 303
接下来就是图形展示 ，这个UI插件我还没弄，下面的我在慢慢找个可以拖拉的插件用于显示。第一步，获取日志文件，解析日志文件中的查询sql，递归解析sql，获取表关系集合。第二步，根据获取到的表关系集合，提取表名和列名集合查出对应的中文备注，组装数据。建表的映射关系以及表的列字段信息，封装成json对象。第三步：写入我们的原始数据和组装好的json对象数据。组装后生成的json文件的内容，已经经过格式化了。为了获取到对应的sql数据，分了三步骤。递归解析sql，获取表与表之间的关系。
doris的布隆索引和位图索引区别
10-17
Doris是一个开源的分布式列式数据库系统，它支持多种类型的索引结构，包括布隆索引和位图索引。 1. **布隆索引**（Bloom Index）：布隆索引是一种概率型的数据结构，通过哈希函数将数据分散到多个位置，形成一组冗余的检查值。当查询时，如果某个检查值匹配，就认为可能存在目标数据。它的优点是空间效率高、插入速度快，但查询准确率受限于哈希函数的数量，可能存在误报（False Positive），适用于大规模数据过滤场景，如数据仓库中的事实表。 2. **位图索引**（Bitmap Index）：位图索引是对每个列的每个值创建一个二进制位图，0表示未出现，1表示出现。全表扫描时，只需要比较位图即可得出结果，适合于等值查询。它的优点是对于某些特定查询（比如查找某一列是否存在某值）非常高效，但对范围查询处理不佳，并且占用的空间较大。 两者的主要区别在于： - **空间效率**：布隆索指数节省空间，但有一定的误报率；位图索引对于单值查询很高效，但总体上需要更大的存储空间。 - **查询速度**：布隆索引适合做快速过滤；位图索引在等值查询上有优势，范围查询较慢。 - **应用场景**：布隆索引常用于海量数据的预筛选；位图索引常用于少量热门值的检索。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值