![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
doris
文章平均质量分 60
Dylan ZhaoHT
这个作者很懒,什么都没留下…
展开
-
基于prometheus与grafana对starrocks/doris监控报警
基于prometheus与grafana监控starrocks/doris实现自定义指标监控与报警原创 2022-07-20 19:46:38 · 1178 阅读 · 5 评论 -
doris物化视图查询最优匹配
物化视图创建完成后,用户的查询会根据规则自动匹配到最优物化视图。如上图:有一张销售记录明细表,并且在这个明细表上创建了三张物化视图。一个存储了不同时间不同销售员的售卖量,一个存储了不同时间不同门店的销售量,以及每个销售员的总销售量。 当查询7月19日各个销售员都买了多少钱时,我们 可以匹配mv_1物化视图, 直接对mv_1的数据进行查询。自动匹配过程自动匹配的过程分为两个步骤:对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算(取部分行,部分列,或部分行列的聚合)出都可以留在候选集中,原创 2022-05-27 15:24:55 · 413 阅读 · 0 评论 -
doris通过rollup增加duplicate模型前缀索引
因为建表时已经指定了列顺序,所以一个表只有一种前缀索引。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说,效率上可能无法满足需求。因此,我们可以通过创建 ROLLUP 来人为的调整列顺序。举例说明。Base 表结构如下:可以看到,ROLLUP 和 Base 表的列完全一样,只是将 user_id 和 age 的顺序调换了。那么当我们进行如下查询时:SELECT * FROM table where age=20 and message LIKE “%error%”;会优先选择 ROL原创 2022-05-27 11:29:08 · 368 阅读 · 0 评论 -
doris前缀索引、doris bloom filter索引、doris bitmap索引原理及适应场景
索引用于帮助快速过滤或查找数据。目前 Doris 主要支持两类索引:内建的智能索引,包括前缀索引和ZoneMap索引。用户创建的二级索引,包括Bloom Filter索引和Bitmap倒排索引。其中ZoneMap索引是在列存格式上,对每一列自动维护的索引信息,包括Min/Max,Null值个数等等。这种索引对用户透明,不在此介绍。以下主要介绍其他三类索引。前缀索引原理本质上,Doris 的数据存储在类似 SSTable(Sorted String Table)的数据结构中。该结构是一种有序的数据结转载 2022-05-27 11:24:24 · 1970 阅读 · 0 评论 -
doris物化视图
物化视图的使用场景有:分析需求覆盖明细数据查询查询对明细数据的任意维度上卷聚合分析创建物化视图通过下面命令就可以创建物化视图了。创建物化视图是一个异步的操作,也就是说用户成功提交创建任务后,DorisDB会在后台对存量的数据进行计算,直到创建成功。CREATE MATERIALIZED VIEW查看物化视图创建状态由于创建物化视图是一个异步的操作,用户在提交完创建物化视图任务后,需要通过命令检查物化视图是否构建完成, 命令如下:SHOW ALTER MATERIALIZED VIEW FR原创 2022-05-19 20:18:22 · 1192 阅读 · 0 评论 -
doris实现数据聚合的三种方式--多明细聚合、物化视图与rollup
doris实现数据聚合的三种方式--多明细聚合、物化视图与rollup原创 2022-05-19 19:55:09 · 1922 阅读 · 0 评论 -
基于doris实时数仓实时报表生成
基于doris实时数仓实时报表生成1、流程图2、自动触发查询--创建存储过程CREATE PROCEDURE insetAutoInsert10sProcedure()BEGININSERT INTO auto_insert_10s(id,create_time,update_time) VALUES (1,NOW(),NOW());END;--创建事件定时器CREATE EVENT IF NOT EXISTS eventAutoInsert10sON SCHEDULE EVERY原创 2022-05-06 20:06:51 · 2621 阅读 · 0 评论 -
基于doris实时数仓指标计算
基于doris实时数仓指标计算1、流程图2、计算字符uv字典表生成流程涉及设备uv去重只能基于bigint类型dau = to_bitmap(device_id)需要建立设备字典表,将字符串设备转化为字典id做去重处理因为常用指标周期只涉及近30日,因此字典表只保留近30日设备3、涉及设备uv生成近N日聚合明细4、doris聚合模型代码--建表语句create table log_platform_channel_dau(ds date,platform varchar(655原创 2022-05-06 19:53:46 · 1219 阅读 · 0 评论