Apache Doris (二十二) ：Doris Rollup物化索引作用及使用注意点

于 2023-07-10 07:30:00 发布
阅读量236 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： doris 大数据 实时数仓 olap 数据仓库 分布式数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131627173
版权
本文详细介绍了Apache Doris中的Rollup物化索引的作用，包括改变索引和聚合数据两方面。Rollup可以调整列顺序以优化前缀索引，提高查询效率，并用于聚合数据以加速报表类查询。文章还讨论了Rollup物化索引的使用注意事项，如数据存储、更新同步以及查询命中条件。
摘要由CSDN通过智能技术生成

目录

1. Rollup 物化索引作用

1.1 改变索引

1.2 聚合数据

​​​​​​​2. Rollup物化索引注意点

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们点赞、收藏不迷路！抓紧订阅专题！

1. Rollup 物化索引作用

在Doris里Rollup 作为一份聚合物化视图，其在查询中可以起到两个作用：改变索引和聚合数据。

​​​​​​​1.1 改变索引

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Apache Doris (二十一) ：Doris Rollup物化索引创建与操作
qq_32020645的博客
07-09 444
抓紧订阅专题！ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。在 Doris 中，我们将用户通过建表语句创建出来的表称为 Base 表（Base Table）。Base 表中保存着按用户建表语句指定的方式存储的基础数据。,“物化”是因为其数据在物理上独立存储，而“索引”的意思是,建立 Rollup 时可只选取 Base Table 中的部分列作为 Schema,Schema 中的字段顺序也可与 Base Table 不同,
SQL Server索引 - 索引(物化)视图 <第九篇>
ajwqb06628的专栏
10-23 247
SQL Server索引 - 索引(物化)视图 <第九篇> 一、索引视图基本概念 　　索引视图实际上是一种将一组唯一值“物化”为群集索引形式的视图，所为物化就是几乎和表一样，其数据也是会存储一份的(会占用硬盘空间，但是查询速度快，例如可以将count(...
物化视图及索引
weixin_33795833的博客
05-26 602
-----------物化视图：---------------物化视图详解：https://blog.csdn.net/orion61/article/details/6873593物化视图：https://www.cnblogs.com/nmap/p/6724849.html物化视图说明：https://www.cnblogs.com/xiaohuilong/p/5995596.html快速刷新...
物化视图，索引，数据仓库
oracel数据库、数据仓库、JAVA开发的专栏
10-28 1189
http://www.os2ora.com/materialized-view-index-data-warehousing/ Materialized Views, 其实不是View。我觉得把它归类于Index可能还准确一些。View在我们的印象里总是逻辑存在的。即使前面加上一个Materialized，我们只会觉得奇怪，干嘛要对View进行物化呢？把它理解为一种特殊的Index未尝
Apache Doris 入门教程07：建表、Rollup和查询
sunjian286的专栏
07-07 2127
中已经介绍过 Doris 的前缀索引，即 Doris 会把 Base/Rollup 表中的前 36 个字节（有 varchar 类型则可能导致前缀索引不满 36 个字节，varchar 会截断前缀索引，并且最多使用 varchar 的 20 个字节）在底层存储引擎单独生成一份排序的稀疏索引数据(数据也是排序的，用索引定位，然后在数据中做二分查找)，然后在查询的时候会根据查询中的条件来匹配每个 Base/Rollup 的前缀索引，并且选择出匹配前缀索引最长的一个 Base/Rollup。
Doris之物化视图
qq_43688472的博客
01-21 1166
Doris之物化视图
Apache Doris (二十) ：Doris 索引详细内容
最新发布
qq_32020645的博客
07-08 636
Doris对数据进行有序存储, 在数据有序的基础上为其建立稀疏索引,索引粒度为 block(1024行)。稀疏索引选取 schema 中固定长度的前缀作为索引内容, 目前 Doris 选取 36 个字节的前缀作为索引。建表时建议将查询中常见的过滤字段放在 Schema 的前面, 区分度越大，频次越高的查询字段越往前放。这其中有一个特殊的地方,就是 varchar 类型的字段。varchar 类型字段只能作为稀疏索引的最后一个字段。
Apache Doris :Rollup 物化视图
weixin_67024075的博客
05-28 837
而 bitmap_union_count 等于 bitmap_union 的结果求 count，所以如果查询中涉及到count(distinct) 则通过创建带 bitmap_union 聚合的物化视图方可加快查询。(10000,‘zss’,‘北京’,18,0,12345678910,'北京朝阳区 ',‘2017-10-01 07:00:00’),(10000,‘zss’,‘北京’,18,0,12345678910,'北京朝阳区 ',‘2017-10-01 08:00:00’),
apache doris 从部署到应用全解
06-27
Rollup 和查询优化是提高性能的关键，Doris 支持多种索引类型，如倒排索引、BloomFilter 索引和 Bitmap 索引，这些索引在数据查询中起着至关重要的作用。倒排索引和 BloomFilter 索引能显著提升查询速度，而 Bitmap ...
Doris ： ROLLUP 与 物化视图
悦上心灵的博客
05-16 1565
Apache Doris 为分析而生
Doris进阶——Rollup和前缀索引
weixin_59812175的博客
06-17 1021
Doris中Rollup和前缀索引
Doris最全使用手册
数据挖掘+大数据研发+算法学习
09-17 1万+
doris常用的理论基础
【Doris】Apache Doris物化视图与索引在京东的典型应用
m0_54252387的博客
07-12 565
**导读：**本文分享关于 Doris 的实际使用情况，主要是物化视图、索引的典型应用案例，以及在使用 Doris 过程中的一些心得。01物化视图本节主要介绍物化视图相关的概念和实际使用案例。1. 物化视图基本概念先介绍物化视图的基本概念，物化视图是指在 Doris 中将一些预计算好的数据存储在 Doris 中的一个特殊表（Doris 0.12版本之前是有 rollup 的概念，0.12 版本之后已经统一使用物化视图），这里涉及到两个知识点：预计算：这里会用一些聚合函数相关的功能把数据先计算好特殊表：所谓的
oracle物化视图可以创建索引,oracle 物化视图及创建索引
weixin_42638139的博客
04-12 2767
物化视图是一种特殊的物理表，“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表，应用的局限性大，任何对视图的查询，Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高，并没有实质上的好处。1、物化视图的类型：ON DEMAND、ON COMMIT二者的区别在于刷新方法的不同，ON DEMAND顾名思义，仅在该物化视图“需要”被刷新了，才进行刷新(RE...
【Doris】Doris核心功能介绍——数据模型和物化视图
m0_54252387的博客
07-11 3070
本次为大家带来的是第一期内容回顾：《Doris核心功能介绍——数据模型和物化视图》本期主讲人：缪翎百度研发工程师Doris PPMC讲座主要分为四部分内容：Doris是什么Doris的两种数据模型Doris的物化视图适用场景总结Doris是什么首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。使用上兼容MySQL协议，语法是标准的SQL。Doris本身不依赖任何其他系统，相比Hadoop生态产品更易于运维。应用场景包括：固定历史报表分析、实时数据分析
【遇见Doris】 Meetup 内容回顾
开源社KAIYUANSHE的博客
08-12 335
感谢7月25日来参加Doris与Dolphin Scheduler合作举办的线上Meetup的小伙伴们，现在为大家带来Meetup的内容。本次Meetup请到了来自百度、奇安信、美团点评...
Apache doris物化视图
锋哥聊DORIS数仓
07-31 776
物化视图 物化视图是将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 doris中的一个特殊的表。 物化视图的出现主要是为了满足用户，既能对原始明细数据的任意维度分析，也能快速的对固定维度进行分析查询。 目前doris物化视图只支持单表，不支持多表join操作 适用场景 分析需求覆盖明细数据查询以及固定维度查询两方面。 查询仅涉及表中的很小一部分列或行。 查询包含一些耗时处理操作，比如：时间很久的聚合操作等。 查询需要匹配不同前缀索引。 优势 对于那些经常重复的使用相同的子
Apache Doris (Incubating) 原理与实践
热门推荐
360技术
07-18 1万+
奇技指南近日，我们邀请到百度高级研发工程师李超勇前来360，分享百度开源数据库Apache Doris 的原理与实践。Apache Doris简介Doris（原百度 Pa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值