Bitmap（位图）和RoaringBitMap（压缩位图）的区别？

吵吵叭火

已于 2024-07-28 15:53:34 修改

阅读量996

点赞数 27

分类专栏： # StarRocks 文章标签：大数据

于 2024-07-27 22:42:44 首次发布

本文链接：https://blog.csdn.net/SHWAITME/article/details/140742696

版权

StarRocks 专栏收录该内容

39 篇文章 14 订阅

订阅专栏

前言

日常业务中需要大量存储一些重复的字符串，例如每日签到用户、计算每日登录用户等、计算用户留存率等。字符串无论长短不仅会浪费大量的存储资源，而且读取查询也耗时耗资源；另外一个应用场景：利用 Bitmap 位图技术，可以解析前端圈群过程，对复杂人群圈选进行提速（实时数仓的用户标签圈选问题）。

一、BitMap（位图）

1.1 定义

在计算机中一个字byte)=8bit（位），位是数据的最小表示单位，map一般是表示地图或者映射， bit +map 加一起叫作位图。一个bit有2种状态，0或者1。所以1个byte可以表示8位的 0000 0000 ->11111111

例如：添加[10,17,28] 这三个数到BitMap中，如下图，只需要将对应的那一位变为1即可。

本质上是一个二进制的数组，Bitmap最大支持的位数是2^32位，这可以节省很大的空间。例如将196660这个数存起来，大概需要196660/8/1024 = 24K 的内存【因为整个数组长度为196660】

另外一个例子：拿每日登录用户的场景举例，首先对用户id进行编号(offset)。

这样只需要每天创建一个只存储位的数组，比如2023-12-8日只有zhangsan和zhaoliu进行了登录，只需要一个4位的字节数组来进行存储，这样就达到了减少存储的目的。

1.2 应用场景

对于一些需要计算连续登录天数，某些int值是否存在等等场景是非常合适的。

1.3 缺陷

如果整个数组中，值的分布很稀疏，例如上述长度为196660 的数组，只表示了这一个值存在，使用Int 去存储的话，4Byte 就可以满足。在大量出现这种情况的时候，是非常消耗内存的。所以RoaringBitmap比起bitmap在这方面就更具有优势。BitMap最大的弊端是稀疏存储，如果数据很分散，基数很高，那么构建的BitMap将非常大，然后又会存储很多bit位是0的数据，造成严重的空间浪费。比如用户全量表中user_id的最大值达到13亿+，但是DAU（日活）在2500-3000w之间，如果不对user_id做任何处理，直接存入bitmap，那么就需要一个13亿+个bit位大小的BitMap。

二、RoaringBitMap（压缩位图）

Roaring Bitmaps

2.1 定义

RoaringBitMap，是一种压缩位图，是对BitMap的改进，除了使用BitMap存储数据，还使用了array等数据结构，以达到压缩的目的。RoaringBitMap是如何做到压缩的？

现实的场景中，存储的数据并不是连续的，而是稀疏的，而且创建Bitmap的时候，长度必须是最大的offset的长度，例如我们有64个用户，那么创建的位数组就是64位。假如有1万个用户，但今天只有编号9999的用户登录了系统，还是要创建一个1万个Byte的数组，反而增加了内存的消耗。
为了更容易理解这个问题，还是以64位Bitmap为例，也就是最大支持存储64个用户，当只存储63时：

先创建了长度为64位的数组，只在63这个位置上的存储是有意义的，其他位置都是0，那这种情况可以进行优化。 把数组拆分成2组，1到32的用户存储到第1组，把33到64的用户存储到第二组。这个时候如果发现第一组的数组里全是0，那第一组就可以不用创建。最后就可以用一个32位大小的数组存储了64位的数据。
接下来更进一步，把64位的数组拆成每16个一组，那么只需要创建最后一个分组的数组，也就是16位的数组来达到进一步压缩的目的。最后的第4组的数据存储如下：