Bitmap、RoaringBitmap原理分析

在人群本地化实践中我们介绍了人群ID中所有的pin的偏移量可以通过Bitmap存储，而Bitmap所占用的空间大小只与偏移量的最大值有关系。假如现在要向Bitmap内存入两个pin对应的偏移量，一个偏移量为1，另一个偏移量为100w，那么Bitmap存储直接需要100w bit的空间吗？数据部将偏移量存入Bitmap时，又如何解决数据稀疏问题呢？本文将为大家解答这个问题。

一、BitMap

Bitmap的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此可以大大节省存储空间。

 

如果想将数字2存入位图中，则只需要将位图数组中下标为2的数组值置为1。

但是，如果现在要存储两个人群ID对应的偏移量，一个偏移量为1，另一个偏移量为100w，如果将这两个值直接放到位图数组中，那么位图数组所需要的空间就是100wbit，会产生大量的空间浪费。那么有什么方法可以避免空间浪费吗？答案就是RoaringBitMap！

二、RoaringBitMap

RoaringBitMap是一种高效压缩位图，简称RBM。RBM的概念于2016年由S. Chambi、D. Lemire、O. Kaser等人在论文《Better bitmap performance with Roaring bitmaps》 《Consistently faster and smaller compressed bitmaps with Roaring》中提出。下面我们结合java中的实现对其进行介绍。

2.1 实现思路

RBM主要将32位的整型（int）分为高16位和低16位（两个short），其中高16位对应的数字使用16位整型有序数组存储，低16位根据不同的情况选择三种不同的container来存储，这三种container分别为：

•Array Container

底层数据结构为short类型的数组，直接将数字低16位的值存储到该数组中。short类型的数组始终保持有序，方便使用二分查找，且不会存储重复数值。因为这种Container存储数据没有任何压缩，因此只适合存储少量数据。其内部数组容量是动态变化的，当容量不够时会进行扩容，最大容量为4096。由于数组是有序的，存储和查询时都可以通过二分查找快速定位其在数组中的位置。

ArrayContainer占用的空间大小与存储的数据量为线性关系，每个short为2字节，因此存储了N个数据的ArrayContainer占用空间大致为2N字节。存储一个数据占用2字节，存储4096个数据占用8kb。