Apache Doris (二十一) ：Doris Rollup物化索引创建与操作

最新推荐文章于 2024-01-24 17:00:12 发布
最新推荐文章于 2024-01-24 17:00:12 发布
阅读量352 收藏 1
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： doris olap 大数据 实时数据仓库 数据仓库 分布式数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131626994
版权

目录

1. 创建测试表

2. 创建Rollup物化索引表

 3. 查看Rollup物化索引表 

4. 删除Rollup物化索引表

5. 验证Rollup物化索引使用

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们点赞、收藏不迷路！抓紧订阅专题！

ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。在 Doris 中，我们将用户通过建表语句创建出来的表称为 Base 表（Base Table）。Base 表中保存着按用户建表语句指定的方式存储的基础数据。

Rollup 可以理解为Base Table 的一个物化索引结构,“物化”是因为其数据在物理上独立存储，而“索引”的意思是,建立 Rollup 时可只选取 Base Table 中的部分列作为 Schema,Schema 中的字段顺序也可与 Base Table 不同,所以Rollup可以调整列顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。

在 Base 表之上，我们可以创建任意多个 ROLLUP 物化索引表,这些 ROLLUP 的数据是基于 Base 表产生的，并且在物理上是独立存储的。ROLLUP 物化索引表的基本作用，在于在 Base 表的基础上&

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Doris----Rollup表分析及案例实现
m0_53400772的博客
05-28 1318
ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度。
Apache Doris 入门教程07：建表、Rollup和查询
sunjian286的专栏
07-07 1980
中已经介绍过 Doris 的前缀索引，即 Doris 会把 Base/Rollup 表中的前 36 个字节（有 varchar 类型则可能导致前缀索引不满 36 个字节，varchar 会截断前缀索引，并且最多使用 varchar 的 20 个字节）在底层存储引擎单独生成一份排序的稀疏索引数据(数据也是排序的，用索引定位，然后在数据中做二分查找)，然后在查询的时候会根据查询中的条件来匹配每个 Base/Rollup 的前缀索引，并且选择出匹配前缀索引最长的一个 Base/Rollup。
Doris--Rollup
qq_46893497的博客
12-03 169
上卷。
Doris系列之高级功能-Rollup操作
Allen_人工智能与大数据
08-17 2322
Doris系列之高级功能-Rollup操作
Apache Doris的Rollup和前缀索引
Bulut0907
10-26 1983
目录1. Aggregate表(Uniq表同理)添加rollup2. Duplicate表添加rollup3. key和前缀索引的关系、查询命中前缀索引的规则3.1 key和前缀索引的关系3.2 查询命中前缀索引的规则 1. Aggregate表(Uniq表同理)添加rollup 添加rollup mysql> mysql> alter table table1 add rollup rollup_city(name, city_code, pv); Query OK, 0 rows af
孵化器-doris：Apache Doris（正在孵化）
02-28
Apache Doris（正在孵化） Doris是用于报告和分析的基于MPP的交互式SQL数据仓库。 它的原始名称是在百度开发的Palo。 捐赠给Apache Software Foundation之后，它更名为Doris。 1.许可证 2.技术 Doris主要集成了...
incubator-doris:Apache Doris（正在孵化）
05-10
Apache Doris 百度镜像库 这里是由 Baidu Doris(Palo) 团队维护的 的镜像库。 该镜像库仅用于发布基于 Apache Doris 官方 Release 版本的 。包括快速的 Bug 修复和新功能更新。 这些 3 位迭代版本都在百度内部进行过...
Apache Doris数据分析综合案例实战
最新发布
05-07
Apache Doris数据分析综合案例实战
从ApacheDoris到SelectDBCloud下一代
11-08
【标题】"从ApacheDoris到SelectDBCloud下一代"揭示了一个关键的话题，即在大数据处理领域，技术如何从Apache Doris这种开源分析型数据库发展到SelectDB Cloud这样的云原生实时数仓。Apache Doris是一款高性能、...
Apache Doris 用户案例集
08-19
Apache Doris 用户案例集
Doris教程笔记
爱码猿的博客
03-18 2913
Doris教程
3.doris Rollup与索引
woshiwjma956的博客
01-24 519
内建的智能索引，包括前缀索引和 ZoneMap 索引。用户手动创建的二级索引，包括倒排索引bloomfilter索引ngram bloomfilter索引和bitmap索引在Doris的倒排索引实现中，table的一行对应一个文档、一列对应文档中的一个字段，因此利用倒排索引可以根据关键词快速定位包含它的行，达到WHERE子句加速的目的。与Doris中其他索引不同的是，在存储层倒排索引使用独立的文件，跟segment文件有逻辑对应关系、但存储的文件相互独立。
Doris 入门：高级特性（四）
AcWare 学习笔记
11-24 4495
目录一、表结构变更二、Rollup三、增大内存四、修改超时时间五、Broadcast/Shuffle Join六、数据模型七、索引八、物化视图九、动态分区十、数据导出十一、Colocation Join十二、SQL 函数 一、表结构变更 添加列：alter table table1 add column uv bigint sum default ‘0’ after pv; 删除列：alter table table1 drop column uv; 查看状态：show alter table colum
【OLAP】Doris学习笔记
zuzhiang的博客
02-05 1158
Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Doris是一个现代化的MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获取查询结果，可以支持10PB以上的超大数据集。
Doris（11）：变更表结构与创建Rollup
u013938578的博客
04-21 504
如果业务方经常有看城市 pv 总量的需求，可以建立一个只有 citycode, pv 的rollup。Rollup 建立之后，查询不需要指定 Rollup 进行查询。Rollup 可以理解为 Table 的一个物化索引结构。物化是因为其数据在物理上独立存储，而 索引 的意思是，Rollup可以调整列顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。更多帮助，可以参阅： HELP ALTER TABLE。更多帮助，可以参阅 HELP ALTER TABLE。之后可以查看完成情况。
Doris之Rollup的注意事项和常见问题
qq_43688472的博客
01-20 1615
Doris之Rollup的注意事项 原理介绍 创建 Rollup 的基本过程，是通过 Base 表的数据，生成一份新的包含指定列的 Rollup 的数据。 其中主要需要进行两部分数据转换， 一是已存在的历史数据的转换， 二是在 Rollup 执行过程中，新到达的导入数据的转换。 在开始转换历史数据之前，Doris 会获取一个最新的 Transaction ID。并等待这个 Transaction ID 之前的所有导入事务完成。这个 Transaction ID 成为分水岭。 意思是，Doris 保证在分水岭
Doris进阶——Rollup和前缀索引
weixin_59812175的博客
06-17 1002
Doris中Rollup和前缀索引
Doris最全使用手册
数据挖掘+大数据研发+算法学习
09-17 9946
doris常用的理论基础
Apache Doris物化视图使用详解
Bulut0907
08-16 1989
通过定义一段select查询语句，从base表进行数据查询，形成一张物化视图表。物化视图表的数据独立于base表储存。对base表进行数据的插入，更新、删除也会原子性的同步到物化视图表。进行数据查询时，Doris引擎会自动以最优方式进行查询，可能查询base表，可能查询物化视图表。...
Apache Doris创建索引
07-28
Apache Doris可以使用多种索引来提高查询性能和数据存储效率。其中包括Aggregate表(Uniq表同理)添加rollup、Duplicate表添加rollup、key和前缀索引、Bloom Filter索引和Bitmap索引等。\[1\]\[2\]\[3\] 在Apache Doris中，可以通过在Aggregate表或Uniq表上添加rollup来创建索引。这样可以提高查询性能和聚合操作的效率。 Duplicate表也可以添加rollup来创建索引，这样可以提高查询性能和去重操作的效率。 另外，Apache Doris还支持key和前缀索引。通过创建key和前缀索引，可以提高查询命中前缀索引的规则，从而提高查询性能。 对于高基数的列，比如UserID，可以使用Bloom Filter索引。Bloom Filter索引适合在高基数的列上创建，因为它可以快速判断某个值是否存在于索引中。 而对于低基数的列，比如"性别"列，使用Bloom Filter索引可能失去意义，因为每个Block几乎都会包含所有取值。 此外，Apache Doris还支持Bitmap索引。Bitmap索引占用的空间非常小，创建和使用非常快。当根据键值查询时，可以快速定位到具体的行号。而当根据键值做and/or或in(x,y,..)查询时，可以直接使用索引的位图进行或运算，快速得出结果行数据。 综上所述，Apache Doris提供了多种索引类型，可以根据具体的需求选择合适的索引来提高查询性能和数据存储效率。 #### 引用[.reference_title] - *1* [Apache Doris的Rollup和前缀索引](https://blog.csdn.net/yy8623977/article/details/120929403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Apache doris索引机制介绍](https://blog.csdn.net/hf200012/article/details/119272670)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值