Doris-bitmap的应用场景

本文介绍了Doris如何利用bitmap进行精确去重,特别是在用户行为分析中的应用。Doris通过bitmap优化了CPU执行引擎,支持GPU执行引擎,以及预计算等策略。在面对内存和存储消耗的问题时,采用了Roaring Bitmap进行压缩。同时,文章讨论了不同类型的字典映射策略,如Trie树和基于Hive的全局字典,以及它们的优缺点。在实际使用中,Doris提供了如BITMAP_UNION、BITMAP_COUNT等函数,用于快速计算PV等指标。
摘要由CSDN通过智能技术生成

Doris count 的精确去重

去重的常规的方法

  1. 堆机器
  2. Cache
  3. 优化 CPU 执行引擎 (向量化,SIMD,查询编译等)
  4. 支持 GPU 执行引擎
  5. 预计算

 聚合指标必须支持上卷,去重指标要支持上卷聚合,就必须保留明细,不能只保存一个最终的去重值,所以考虑引入bitmap

优点:

1,查询时io,cpu,内存,网络资源显著减少,不会随着数据规模线性增加

存在的问题 

1,内存和存储的消耗

2,只支持int类型

解决的办法

1,压缩,业界普遍采用的bitmap库是Roaring Bitmap 

Roaring Bitmap 核心思路,就是根据数据的不同特征采用不同的存储或者压缩方式

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值