精确去重和Roaring BitMap

最新推荐文章于 2024-08-25 08:08:52 发布
置顶 最新推荐文章于 2024-08-25 08:08:52 发布
阅读量4.1k 收藏 3
点赞数 1
分类专栏： OLAP 文章标签： 去重 大数据 位运算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hfcenter/article/details/95458754
版权

精确去重和Roaring BitMap

互联网行业常见的一个业务需求就是求UV(日活)和N日留存，这就涉及到去重计数(COUNT DISTINCT)的计算.

BitMap概述

精确去重算法主要通过BitMap来实现，它本质上是定义了一个很大的 bit 数组，每个元素对应到 bit 数组的其中一位

一个Integer是32-bit, 一共有Integer.MAX_VALUE = 2 ^ 32个值，对于原始的Bitmap来说，这就需要2 ^ 32长度的bit数组
通过计算可以发现(2 ^ 32 / 8 bytes = 512MB), 一个普通的Bitmap需要耗费512MB的存储空间
不管业务值的基数有多大，这个存储空间的消耗都是恒定不变的，这显然是不能接受的
而Roaring Bitmap作为压缩性能更好的位图索引，广泛应用于众多成熟的开源大数据平台(Kylin、Druid、ES等)

对于非Integer类型的数据(比如String类型)，可以通过数据字典映射成Integer

Roaring Bitmap的数据结构

  • Roaring bitmap用来表示所有32-bit的unsigned integer的集合(共2 ^ 32 = 42 9496 7296个)
  • 这个数足够覆盖一款产品的用户量了

Roaring bitmap的数据结构为Key-Value的键值对:

  • Key: 根据业务值整数的high 16-bits进行分桶(共2 ^ 16 = 65536个), 每一个Roaring Bitmap的Key值(first-level)都存放在short(16-bit)类型的有序数组中: short[] keys
  • Value: 用于存放业务值整数的low 16-bits的一个container. 每一个Roaring Bitmap有一个Container数组: Container[] values

三种不同类型的Container

Roaring bitmap共有三种不同类型的Container, 分别是Array Container, Bitmap Container, Run Container.

Array Container

Array Container通过16-bit unsigned integer的有序数组存放(short in Java)业务值

数组的初始长度为DEFAULT_INIT_SIZE = 4, 扩容的规则为:

  • 若 size < 64, 则capacity * 2;
  • 若 64 < size < 1067, 则capacity * 1.5;
  • 若 1067 < size, 则capacity * 1.25;
  • 不会分配超过DEFAULT_MAX_SIZE = 4096大小的capacity;
  • 特别处理: 若size离最大值(4096)只差1/16时, 直接升舱到最大值(4096)

Array Container有一个counter用来追踪基数
序列化之后Array Container消耗的存储空间为2c+2bytes, c表示基数

Bitmap Container

Bitmap Container通过固定size为1024的64-bit(long in Java)的数组存放业务值, 这个数组刚好能存下2 ^ 16个数字
有一个counter用来存放1的个数
序列化之后Bitmap Container消耗的存储空间固定为为8192bytes

Run Container

Run Container通过存放pair<start_value, length>于16-bit integer(short in Java)的数组中来表示业务值, 例如11、12、13、14、15可以被优化成11, 4
其中start_value表示起始值, length为该起始值后连续1的长度
这个short数组的capacity也是动态分配

Run Container的基数可以通过SUM(length)计算出来, 没有用另外的counter进行追踪
序列化之后Run Container消耗的存储空间为2+4rbytes, r表示pair<start_value, length>的数目

Contrainer之间的转换

  • 如果开始的时候是一个空的Roaring bitmap, 那么当添加一个业务值时，Array Container就会被创建
  • 当插入新的业务值时, 基数超过4096, Array Container会转化成Bitmap Container
  • 通过runOptimize function触发原container的扫描, 决定是否转换为Run Container, 只有当存储消耗比Array Container或Bitmap Container小的时候, 才会发生转换
  • 根据计算可以得出，基数大于4096的时候，2 + 4r < 8192, 那么不应超过2047个pair;
  • 基数小于4096的时候，pair的个数应该小于基数的一半

Roaring Bitmap逻辑操作的简单分析

在Roaring Bitmap中, 一个bitmap包含一个RoaringArray类型的成员变量highLowContainer, 用于存储数据: RoaringArray highLowContainer
RoaringArray包含两个数组, 分别是short[] keys和Container[] values

Key值(first-level)的处理

每一个Roaring Bitmap的Key值(first-level)都存放在short(16-bit)类型的有序数组中

对两个bitmap做逻辑运算时，先做Key值的比较

Highlevel计算框架

  1. 依次迭代两个bitmap的key数组

  2. 若key值相同, 则对value的container进行逻辑计算, 不同类型的container有不同的操作, 计算结束后, 两个key数组迭代器步长+1

  3. 如果key值不同, key值较小的迭代器的步长(index), 会一直加到自己的key值恰好等于较大的key值(二分查找), 找不到则返回较小的数组的size

    Find the smallest integer index larger than pos such that array[index].key=x. If none can be found, return size. Based on code by O. Kaser.

  4. 如果是Union计算, 在第3步较小的迭代器移动步长的过程中, 会把每次经过的key值和value值添加到作为结果的bitmap中

  5. 对于Union计算, 必须把两个数组都迭代完全; 对于Intersection计算, 只要有一个数组迭代完就可以结束了

Bitmap Container vs Bitmap Container的操作

对于Union操作，输入为两个bitmap container, 迭代两个container中的1024个long值(long[] bitmap)

  • 分别做位运算中的|操作, 得到一个新的long[] bitmap数组
  • 同时利用Long.bitCount()计算新的bitmap container的基数

对于Intersection操作, 同样输入两个bitmap container

  • 先迭代两个container中的1024个long值(long[] bitmap)一次，计算交集的基数
  • 基数大于4096, 则再次迭代两个container，分别做位运算中的&操作，得到一个新的long[] bitmap数组
  • 基数不大于4096，也再次迭代两个container，并将long值&操作的结果转换成short类型，存放在最终的结果Array Container中

Bitmap Container vs Array Container的操作

对于Union操作, 输入为一个bitmap container和一个array container

  • 先把这个bitmap container复制一遍
  • 遍历array container的数组, 将每个值v换算成复制后的bitmap container中long[] bitmap数组的对应下标i, 取出该bitmap的值bitmap[i]和v做相关的|操作，写入这个bitmap[i]
  • 遍历完成后这个复制的bitmap container即为结果bitmap container

对于Intersection操作, 输入为一个bitmap container和一个array container

  • 先创建一个和array container一样大小的新的array container
  • 遍历旧的array container, 查找里面的值是否存在于bitmap container中
  • 存在则写入新的array container的short[]数组中
  • 这个新的array container即为交集结果

Array Container vs Array Container的操作

对于Union操作, 输入为两个array container

  • 直接相加两个container的基数，若基数和 > 4096， 则把两个container的值置于一个新的bitmap container中计算，结果的基数如果不大于4096, 则把结果转换成array container返回，否则直接返回bitmap container
  • 若基数和不大于4096, 则遍历两个数组，通过数组进行相关的Union计算

对于Intersection操作, 输入为两个array container

  • 通过数组操作进行相关的Insection计算

参考文献

  1. Consistently faster and smaller compressed bitmaps with Roaring
  2. Better bitmap performance with Roaring bitmaps# 、
xwhfcenter
关注
专栏目录
【大数据】稀疏位图存储、RoaringBitmap、布隆过滤器，判断元素是否在集合、精确去重
九师兄
07-25 170
是一种基于位图的数据结构，可以高效地存储大量的非负整数，并支持多种集合运算，如并集、交集、差集等。它可以高效地判断一个元素是否在集合中，并且可以使用很少的空间来存储集合。本文阐述了 RoaringBitmap的基础原理、数据结构和 Container 源码，也列举了 Go 语言常用的位运算。因为最近在业务场景里使用到了 RoaringBitmap。在大数据的应用场景使用 RoaringBitmap 确实能够达到降本增效的作用。
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
爱吃辣条的博客
07-28 1423
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
Flink去重第四弹：bitmap精确去重
张普的专栏
01-12 5094
点击箭头处“蓝色字”，关注我们哦！！往期精彩回顾Flink去重第一弹:MapState去重Flink去重第二弹：SQL方式Flink去重第三弹：HyperLogLog去重关于hyperl...
RoaringBitmap, 在Java中，一个更好的压缩 bitset.zip
09-18
RoaringBitmap, 在Java中，一个更好的压缩 bitset RoaringBitmap Bitsets，也称为位图，通常用作快速数据结构。 不幸的是，他们可以使用太多的内存。 为了补偿，我们经常使用压缩位图。咆哮位图是压缩位图，它比传统压缩位图如 WAH 。EWAH或者简洁
RoaringBitmap 开源项目教程
最新发布
gitblog_00552的博客
08-25 674
RoaringBitmap 开源项目教程 roaringRoaring bitmaps in Go (golang), used by InfluxDB, Bleve, DataDog项目地址:https://gitcode.com/gh_mirrors/ro/roaring 项目介绍 RoaringBitmap 是一个高效的数据结构，用于处理大规模的位图（Bitmap）。它通过将位图分割成多个...
Roaring BitMap(高效压缩位图)
热门推荐
GGBOOMi的博客
10-28 1万+
为了解决位图稀疏存储浪费空间的问题，出现了很多稀疏位图的压缩算法，RoaringBitmap就是其中的优秀代表。Roaring Bitmap是高效压缩位图，简称RBMRBM的历史并不长，它于2016年由S. Chambi、D. Lemire、O. Kaser等人在论文与中提出.
三种 Bitmap 之 RoaringBitmp(压缩 Bitmap)
yin__ren的博客
11-19 2287
<dependency> <groupId>org.roaringbitmap</groupId> <artifactId>RoaringBitmap</artifactId> <version>0.9.0</version> </dependency>
BitMap(三)：RoaringBitmap
weixin_43837229的博客
11-09 413
Roaring Bitmap的算法是将整数的32-bit的范围 ([0, n]) 划分为 2^16 个数据块（Chunk），每一个数据块对应整数的高16位，并使用一个容器（Container）来存放一个数值的低16位。 Roaring Bitmap将这些容器保存在一个动态数组中，作为一级索引。容器使用两种不同的结构： 数组容器（Array Container）和 位图容器（Bitmap Container）。数组容器存放稀疏的数据，位图容器存放稠密的数据。如果一个容器里面的整数数量小于4096，就用数组容器
Flink RoaringBitmap去重
weixin_44996457的博客
09-25 949
Roaring64Bitmap 去重只适合去重整形情况
flink：RoaringBitmap在亿级用户实时UV精确去重中应用
ice-wee的专栏
07-04 2370
RoaringBitmap 是压缩位图，其性能往往优于传统的压缩位图，例如 WAH、EWAH 或 Concise。某些情况下可以快数百倍，甚至可以比未压缩的位图更快。RoaringBitmap 常用于去重、标签筛选、时间序列等计算中。
Roaring Bitmap 更好的位图压缩算法
SmartSi
11-13 1382
Bitsets（也称为Bitmaps）通常用作快速数据结构。不幸的是，他们可能会占用太多内存。为了降低内存的使用，我们经常会使用压缩的位图。Roaring Bitmaps 是一种压缩的位图，要优于常规的压缩位图，例如 WAH，EWAH 或者 Concise。在某些情况下，可以比它们快几百倍，并且通常提供更好的压缩。几乎所有流行的编程语言（Java，C，C ++，Go，C＃，Rust，Python …）都提供了 Roaring Bitmaps。
PyRoaringBitMap:一个高效且轻量级的32位整数有序集
05-15
一个高效且轻量级的32位整数的有序集。 这是C库的Python包装器。 例子 您可以像在代码中设置的经典Python一样使用位图： from pyroaring import BitMap bm1 = BitMap () bm1 . add ( 3 ) bm1 . add ( 18 ) bm2 = BitMap ([ 3 , 27 , 42 ]) print ( "bm1 = %s" % bm1 ) print ( "bm2 = %s" % bm2 ) print ( "bm1 & bm2 = %s" % ( bm1 & bm2 )) print ( "bm1 | bm2 = %s" % ( bm1 | bm2 )) 输出： bm1 = BitMap([3, 18]) bm2 = BitMap([3, 27, 42]) bm1 & b
python实现bitmap数据结构详解
12-23
bitmap是很常用的数据结构，比如用于Bloom Filter中；用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。对于Python来说，整数类型默认是有符号类型，所以一个整数的可用位数为31位。bitmap实现思路 bitmap是用于对每一位进行操作。举例来说，一个Python数组包含4个32位有符号整型，则总共可用位为4 * 31 = 124位。如果要在第90个二进制位上操作，则要先获取到操作数组的第几个元素，再获取相应的位索引，然后执行操作。上图所示为一个32位整型，在Python中默认是有符号类型，最高位为
RoaringBitmap：Java中更好的压缩位集
02-03
咆哮位图 位集（也称为位图）通常用作快速数据结构。 不幸的是，它们会占用过多的内存。 为了补偿，我们经常使用压缩的位图。 咆哮的位图是压缩的位图，其性能通常优于传统的压缩位图，例如WAH，EWAH或Concise。 在某些情况下，咆哮的位图可以快数百倍，并且它们通常可以提供更好的压缩效果。 它们甚至可以比未压缩的位图更快。 咆哮的位图在许多重要应用中均能很好地工作： 尽可能使用Roaring进行位图压缩。 不要使用其他位图压缩方法（ ） 做出使我的软件运行速度提高5倍的荣誉（BigML的Charles Parker） 该库由 ， ， （ ） （ ） ， ，
BitMap与RoaringBitMap
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
09-10 299
一、BitMap Bit...
RoaringBitmap数据结构以及精确去重UDAF实现
qq_35671159的博客
05-06 1846
一、位图(Bitmap) 1、什么是比特(bit) 1）它是英文 binary digit 的缩写 2）它是计算机内部存储的最小单位，用二进制的0或者1来表示 3）1 Byte = 8 bit；1024 Byte = 1 Kb；1024 Kb = 1 Mb；1024 Mb = 1 Gb；1024 Gb = 1 Tb 2、引子 给出40亿个连续不重复且无序的无符号int型整数，目前条件是只有一个2G内存的PC，需要判断出某个数字是否在给出的这40亿个数字里面 ...
bitmap bitset roaringbitmap 三者的联系以及原理简单使用
T-Whong
10-26 683
bitmap ： Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，可以很大力度的节省空间，常用于对大量整数做去重和查询操作。 bitset ： BitSet就是实现了Bit-Map算法。BitSet位于java.util包下，从JDK1.0开始就已经有了。该类实现了一个按需增长的位向量。位集的每一个组件都有一个boolean类型的值。 BitSet的每一位代表着一个非负整数。可以检查、设置、清除单个位。一个BitSet可以通过.
RoaringBitmap运行机制解析
md_2014的博客
12-22 491
背景 用于将int类型转换成bitmap类型 public static RoaringBitmap bitmapOf(final int... dat) { final RoaringBitmap ans = new RoaringBitmap(); ans.add(dat); return ans; } 运行机制 初始化bitmap final RoaringBitmap ans = new RoaringBitmap(); 在初始化过程中，无参构造器会新建一个Roari
Bitmap、RoaringBitmap原理分析
京东科技开发者
03-24 295
在处理海量大数据时，我们常常会使用Bitmap，但假如现在要向Bitmap内存入两个pin对应的偏移量，一个偏移量为1，另一个偏移量为100w，那么Bitmap存储直接需要100w bit的空间吗？数据部将偏移量存入Bitmap时，又如何解决数据稀疏问题呢？本文将为大家解答
RoaringBitmap-0.7.45中英双语API文档完整包
资源摘要信息:"RoaringBitmap是一种使用位数组实现的高效压缩数据结构，主要用于存储和操作大量的整数集合。该数据结构在处理包含有规律的数据（例如许多连续的整数）时，具有极高的效率和良好的性能。RoaringBitmap...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值