Apache Doris (五十九）： Doris - BITMAP精准去重

最新推荐文章于 2024-11-07 09:54:54 发布
最新推荐文章于 2024-11-07 09:54:54 发布
阅读量1k 收藏 19
点赞数 20
分类专栏： 大数据OLAP体系技术栈 文章标签： Doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135258843
版权
本文详细介绍了Apache Doris中Bitmap精准去重的原理和应用。通过Bitmap可以高效地实现数据去重，特别是在大数据场景下。文章讨论了Bitmap在大基数计算时的性能问题，提出通过range划分降低计算复杂度的优化策略，以及如何在Doris中创建表并使用Bitmap去重的实际操作。此外，还提到了正交Bitmap在非分区表中的优势。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
doris bitmap union count在新增维度情况下原组合去重值不变
u011624157的专栏
01-21 714
doris bitmap union count在新增维度情况下原组合去重值不变
Apache Doris (二十) ：Doris 索引详细内容
qq_32020645的博客
07-08 811
Doris对数据进行有序存储, 在数据有序的基础上为其建立稀疏索引,索引粒度为 block(1024行)。稀疏索引选取 schema 中固定长度的前缀作为索引内容, 目前 Doris 选取 36 个字节的前缀作为索引。建表时建议将查询中常见的过滤字段放在 Schema 的前面, 区分度越大，频次越高的查询字段越往前放。这其中有一个特殊的地方,就是 varchar 类型的字段。varchar 类型字段只能作为稀疏索引的最后一个字段。
Doris之Bitmap 索引
qq_43688472的博客
01-28 1411
Bitmap 索引 用户可以通过创建bitmap index 加速查询 本文档主要介绍如何创建 index 作业，以及创建 index 的一些注意事项和常见问题。 bitmap index：位图索引，是一种快速数据结构，能够加快查询速度 原理介绍 创建和删除本质上是一个 schema change 的作业，具体细节可以参照 Schema Change。 语法 index 创建和修改相关语法有两种形式，一种集成与 alter table 语句中，另一种是使用单独的 create/drop index 语法 创
Doris 游戏数据分析实战，计算留存
最新发布
qq_25954159的博客
11-07 385
基于Doris BitMap函数计算留存率，Doris拥有丰富的BitMap函数，计算留存使用到的有：bitmap_union、intersect_count、bitmap_intersect等；其中核心思路就是：第一天与第二天的交集就是第二天的留存；第一天与第三天的交集就是第三天留存；以此类推，采用BitMap函数交集可以快速计算留存。4、假如初始事件是A，回访事件是A, 计算目标留存。5、假如初始事件是A，回访事件是B, 计算目标留存。3、将埋点数据表导入BitMap表。
RoaringBitmap数据结构以及精确去重UDAF实现
qq_35671159的博客
05-06 1920
一、位图(Bitmap) 1、什么是比特(bit) 1）它是英文 binary digit 的缩写 2）它是计算机内部存储的最小单位，用二进制的0或者1来表示 3）1 Byte = 8 bit；1024 Byte = 1 Kb；1024 Kb = 1 Mb；1024 Mb = 1 Gb；1024 Gb = 1 Tb 2、引子 给出40亿个连续不重复且无序的无符号int型整数，目前条件是只有一个2G内存的PC，需要判断出某个数字是否在给出的这40亿个数字里面 ...
Apache Doris 系列： 基础篇-BitMap索引
修破立生
01-13 1720
本文基于SSB测试数据创建BitMap索引，对比索引创建前后的性能，并给出使用的建议
Apache Doris 基于 Bitmap 的精确去重和用户行为分析
SmartSi
03-07 1122
本次由来自美团点评的康凯森同学带来了 Apache Doris (incubating) 基于 Bitmap的精确去重和用户行为分析。康凯森是美团点评Doris服务的负责人，同时也是Doris的PPMC&Committer。
Doris案例篇—云积天赫基于 Apache Doris 构建统一数仓的实践
热门推荐
07-16 3万+
前期，我们只是在部分功能上使用了 Apache Doris，用 Apache Doris 替代了 Spark+Impala 来实现实时圈人功能，出乎意料的是，Apache Doris 投入使用之后效果极佳，新版架构的实时圈人业务平均每个任务耗时由 3~5 分钟降低到 10 秒左右，并且在人群落地方面，使用存储更小的 Bitmap 代替原来的人群落地为表，不仅数据管理方便，而且磁盘空间占用减少了 80% 左右。早期，大数据平台的主要目的是为了满足较为单一的 BI 数据看板及报表功能。
Apache Doris (五十七）： Doris - Runtime Filter
qq_32020645的博客
01-01 1079
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Runtime Filter 是在 Doris 0.15 版本中正式加入的新功能。旨在为某些 Join 查询在运行时动态生成过滤条件，来减少扫描的数据量，避免不必要的I/O和网络传输，从而加速查询。
Apache Doris (十) ：Doris基础
qq_32020645的博客
06-28 581
在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述，一张表包括行（Row）和列（Column），Table中又有分区（partition）和分桶（tablet）概念，下面分别介绍这些概念。Row 代表用户的一行数据，Column用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说，Key 列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。
美团 Doris Bitmap 精确去重优化实践
SmartSi
01-30 700
第一部分将介绍精确去重的业务场景以及现有的一些解决方案，并讲解 Doris MPP 架构在两阶段聚合实现中的原理和 Bitmap 数据结构的作用。在流量场景中，精确去重计算无疑是一项重要任务。尤其在计算多种维度下的去重指标时，如 PV、UV 及日活用户数等，去重指标的计算复杂度相较于普通指标（如 SUM 或 AVG）更高，更容易成为性能瓶颈。数仓生产：在 OLAP 引擎现场计算能力出现之前，去重指标的计算可以在数据仓库生产环节完成。
【遇见Doris】 Apache Doris 基于 Bitmap的精确去重和用户行为分析
ucanuup_的博客
01-08 3135
Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术...
Doris Bitmap介绍及企业应用
weixin_42020212的博客
02-19 1841
Doris Bitmap，跳出官方限制，企业应用
Doris--基础--13.6--SQl函数--Bitmap函数
zhou920786312的博客
03-10 582
计算两个输入bitmap的交集，返回新的bitmap.
Apache Doris 系列： 基础篇-使用BitMap函数精准去重（2）
修破立生
01-28 2004
Apache Doris 原有的BitMap函数虽然比较通用， 但在亿级别的BitMap大基数并交计算性能较差，解决方案：将bitmap列的值按照范围划分，不同范围的值存储在不同的bucket上，确保在不同bucket的bitmap值是正交的。在查询的时候，先对不同bucket的bitmap值完成聚合计算，上层的FE节点只需合并聚合过的数据并输出即可。如此会极大的改善计算效率，和解决FE节点成为计算瓶颈的问题。
DorisDB系列文档(八)bitmap索引
HANG.NIAN
04-25 1989
DorisDB 支持基于Bitmap索引，对于有Filter的查询有明显的加速效果。 原理 1 什么是Bitmap Bitmap是元素为1个bit的, 取值为0,1两种情形的, 可对某一位bit进行置位(set)和清零(clear)操作的数组. Bitmap的使用场景有: 用两个long型表示16学生的性别, 0表示女生, 1表示男生. 用bitmap表示一组数据中是否存在null值, 0表示元素不为null, 1表示为null. 一组数据的取值为(Q1, Q2, Q3, Q4), 表示季度;
【java】flink-cdc获取doris转存mysql的bitmap
weixin_41149000的博客
05-23 487
这里主要是针对flink读取bitmap。doris中的bitmap和roaringBitmap有些许差别，获取时要注意
Doris bitmap实现留存计算
huzechen的博客
10-18 1082
一、背景 什么是留存 比如用户今天使用某应用，明天还继续使用该应用，叫做留存。bitmap原理 基本思想是用数组下标表示元素的值，用0,1标记元素是否存在，1表示存在，0表示不存在。由于使用bit为单位来存储数据，大大节省了存储空间。例如：给定一个数组array=[1,3,5];为什么要用bitmap？bitmap为什么能计算留存？bitmap为什么只支持int类型？①节省存储空间。②留存实际上是...
Apache Doris 1.0.0 发布：现代MPP分析数据库的源码解析
在描述中提到的apache-doris-1.0.0-incubating-src.tar.gz，这是一个包含了Apache Doris项目源代码的压缩包文件。版本1.0.0-incubating表示Apache Doris当时还处于孵化阶段，这意味着虽然代码是开源的，但功能和稳定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值