doris进阶之bitmap_union_count查询性能优化

最新推荐文章于 2024-06-12 08:44:37 发布
最新推荐文章于 2024-06-12 08:44:37 发布
阅读量914 收藏
点赞数
分类专栏： 数据仓库 文章标签： 性能优化 数据库 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011624157/article/details/127215787
版权
针对Doris中使用bitmap_union_count函数查询性能问题，本文分析了由于uuid导致的bitmap稀疏问题，并提出了三个优化方案：1) 使用代理键进行去重；2) 应用正交函数orthogonal_bitmap_union_count提升性能；3) 通过(代理键/65535)进行分桶优化RoaringBitmap压缩率。实践表明，优化方案1和2效果显著，方案3效果不明显。
摘要由CSDN通过智能技术生成

1.问题表现

业务反馈uv_tb表执行bitmap_union_count函数查询特别慢，
doris表结构如下

CREATE TABLE `uv_tb` (`dt` int(11) NULL COMMENT "日期&#
了解本专栏 订阅专栏 解锁全文 超级会员免费看
左林右李02
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
doris bitmap union count在新增维度情况下原组合去重值不变
u011624157的专栏
01-21 672
doris bitmap union count在新增维度情况下原组合去重值不变
zeppelin Interpreter Yarn 模式 和 doris的 bitmap_union
qq_31866793的博客
08-21 1147
1，记录一下zeppelin Interpreter Yarn 模式 在上生产部署的路上，需要思考一下各组件的高可用，出现意外情况等情况，所以才发现 zeppelin存在Interpreter Yarn 模式： 首先需要声明的是这里的Interpreter Yarn 模式和 Flink的Yarn模式不是一个概念。Flink的Yarn模式是指把Flink集群运行在Yarn环境里，而这里的 Interpreter Yarn 模式是指把 Flink Interpreter 进程运行在 Yarn 环...
doris union all的问题报错及解决办法
weixin_45928691的博客
06-12 225
union all的用法，其实不陌生的。union all上下的字段名要一致，字段数据类型要一致。但是满足上面两点后还是报错(doris 可以正常查询，但是当把下面这段sql做成逻辑视图时，就会报错)。后面发现，原来是doris不支持顶层查询，换句话说，换成下面的代码就可以了。
查询性能显著提升，Apache Doris 向量化版本在小米 A/B 实验场景的调优实践
SelectDB
11-09 3686
小米的 A/B实验平台对 Doris 查询性能的提升有着迫切的需求，因此我们选择优先在小米的 A/B实验平台上线 Apache Doris 向量化版本，也就是 1.1.2 版本。小米的A/B实验平台是一款通过 A/B测试的方式，借助实验分组、流量拆分与科学评估等手段来辅助完成科学的业务决策，最终实现业务增长的一款运营工具产品。在实际业务中，为了验证一个新策略的效果，通常需要准备原策略A 和新策略B 两种方案。随后在总体用户中取出一小部分，将这部分用户完全随机地分在两个组中，使两组用户在统计角度无差别。
Apache Doris 基于 Bitmap的精确去重和用户行为分析
航源的博客
03-05 1647
转凯森大神的博客：https://blog.bcmeng.com/post/doris-bitmap.html
Doris使用及优化（1.2.6 - 2.0.2 release）
weixin_43983455的博客
05-09 6962
Doris的使用及优化经验，持续更新，欢迎投递。
Doris-bitmap的应用场景
qq_38316704的博客
12-12 3943
Doris count 的精确去重 去重的常规的方法 堆机器 Cache 优化 CPU 执行引擎 (向量化，SIMD，查询编译等) 支持 GPU 执行引擎 预计算 聚合指标必须支持上卷，去重指标要支持上卷聚合，就必须保留明细，不能只保存一个最终的去重值，所以考虑引入bitmap 优点： 1，查询时io，cpu，内存，网络资源显著减少，不会随着数据规模线性增加 存在的问题 1，内存和存储的消耗 2，只支持int类型 解决的办法 1，压缩，业界普遍采用的bitmap库是Ro..
hive bitmap写入doris测试
lufybrooklin的博客
09-11 900
hive bitmap导入doris
猿创征文｜通过优化Doris表结构（Partitions & bucket数量）提升Doris查询性能
weixin_43914798的博客
06-09 4223
通过调整Doris建表结构提升Doris查询性能
Apache Doris 系列： 基础篇-使用BitMap函数精准去重（1）
修破立生
01-14 1950
本文介绍了使用BitMap函数进行精准去重，以及其局限
Doris Bitmap介绍及企业应用
weixin_42020212的博客
02-19 1586
Doris Bitmap，跳出官方限制，企业应用
Doris bitmap实现留存计算
鲸鱼
07-27 2999
Doris背景留存计算方法二级目录三级目录 背景 留存计算方法 二级目录 三级目录
Apache Doris 系列： 基础篇-使用BitMap函数精准去重（2）
修破立生
01-28 1818
Apache Doris 原有的BitMap函数虽然比较通用， 但在亿级别的BitMap大基数并交计算性能较差，解决方案：将bitmap列的值按照范围划分，不同范围的值存储在不同的bucket上，确保在不同bucket的bitmap值是正交的。在查询的时候，先对不同bucket的bitmap值完成聚合计算，上层的FE节点只需合并聚合过的数据并输出即可。如此会极大的改善计算效率，和解决FE节点成为计算瓶颈的问题。
Doris数据分层 亿级别数据实时性 达到分钟级
聊聊学习到的技术和工作中遇到的问题
01-21 1816
在doris怎么进行数据分层，使用bitmap数据结构，bitmap_count和bitmap_union_count的使用场景，最后结合案例讲述亿级数据在增量统计怎么实现分钟级别出结果。
Doris文档
一只小黑
01-30 1525
Doris文档
美团 Doris Bitmap 精确去重优化实践
SmartSi
01-30 521
第一部分将介绍精确去重的业务场景以及现有的一些解决方案，并讲解 Doris MPP 架构在两阶段聚合实现中的原理和 Bitmap 数据结构的作用。在流量场景中，精确去重计算无疑是一项重要任务。尤其在计算多种维度下的去重指标时，如 PV、UV 及日活用户数等，去重指标的计算复杂度相较于普通指标（如 SUM 或 AVG）更高，更容易成为性能瓶颈。数仓生产：在 OLAP 引擎现场计算能力出现之前，去重指标的计算可以在数据仓库生产环节完成。
doris auto_increment_increment
最新发布
09-06
Doris 是一个开源的 MPP（大规模并行处理）分析型数据库，主要用于在线分析处理（OLAP）场景。`auto_increment_increment` 是 MySQL 中的一个系统变量，用于控制 AUTO_INCREMENT 列的增量值。在 MySQL 中，当你创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左林右李02

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值