本文介绍了Doris如何利用bitmap进行精确去重，特别是在用户行为分析中的应用。Doris通过bitmap优化了CPU执行引擎，支持GPU执行引擎，以及预计算等策略。在面对内存和存储消耗的问题时，采用了Roaring Bitmap进行压缩。同时，文章讨论了不同类型的字典映射策略，如Trie树和基于Hive的全局字典，以及它们的优缺点。在实际使用中，Doris提供了如BITMAP_UNION、BITMAP_COUNT等函数，用于快速计算PV等指标。
Doris count 的精确去重
去重的常规的方法
- 堆机器
- Cache
- 优化 CPU 执行引擎 (向量化，SIMD，查询编译等)
- 支持 GPU 执行引擎
- 预计算
聚合指标必须支持上卷，去重指标要支持上卷聚合，就必须保留明细，不能只保存一个最终的去重值，所以考虑引入bitmap
优点：
1，查询时io，cpu，内存，网络资源显著减少，不会随着数据规模线性增加
存在的问题
1，内存和存储的消耗
2，只支持int类型
解决的办法
1，压缩，业界普遍采用的bitmap库是Roaring Bitmap
Roaring Bitmap 核心思路，就是根据数据的不同特征采用不同的存储或者压缩方式
最低0.47元/天 解锁文章
扫一扫
981
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
