简单理解：Bitmap和布隆过滤器(Bloom Filter)

最新推荐文章于 2024-10-21 09:52:41 发布

不如吃个药

最新推荐文章于 2024-10-21 09:52:41 发布

阅读量3.2k

点赞数

分类专栏：面试问题数据结构文章标签：算法数据结构 bitmap

原文链接：https://blog.csdn.net/zdxiq000/article/details/57626464

版权

数据结构同时被 2 个专栏收录

10 篇文章 2 订阅

订阅专栏

面试问题

1 篇文章 0 订阅

订阅专栏

Bitmap算法

与其说是算法，不如说是一种紧凑的数据存储结构。其实如果并非如此大量的数据，有很多排重方案可以使用，典型的就是哈希表。

public int[] removeDuplicates(int[] array) {
	int index = 0;
	int[] newArray = new int[array.length];
    Map<Integer, Boolean> maps = new LinkedHashMap<Integer, Boolean>();
    for(int num : array) {
        if(!maps.contains(num)) {
	        newArray[index++] = num;
            maps.put(num, true);
        }
    }

    return newArray;
}

实际上，哈希表实际上为每一个可能出现的数字提供了一个一一映射的关系，每个元素都相当于有了自己的独享的一份空间，这个映射由散列函数来提供（这里我们先不考虑碰撞）。实际上哈希表甚至还能记录每个元素出现的次数，这样的数据结构完成这个任务有点“大材小用”了。

我们拆解一下我们的需求：

集合中每个元素（示例中是int）有一个独享的空间
找到一个到这个空间的映射方法

这个空间要多大？对于我们的问题来说，一个boolean就够了，或者说，1个bit就够了，我们只想知道某个元素出现过没有。如果为每个所有可能的值分配1个bit，32bit的int所有可能取值需要内存空间为：

2³² bit=2²⁹ Byte=512MB

那怎么样完成这个映射呢？其实就是Bitmap所要完成的工作了。如果我们把整型1-8依次映射到第一个Byte上，整型9-16依次映射到第二个Byte上，每个bit就代表这个int值是否出现过，初值为0（false）。

若扩展到整个int取值域，申请一个byte[2^32^/8]（一共2^32^个数，1byte占8bit）即可，示例代码如下：

public static final int _1MB = 1024 * 1024;
//每个byte记录8bit信息,也就是8个数是否存在于数组中
public static byte[] flags = new byte[ 512 * _1MB ];


public static void main(String[] args) {
	//待判重数据
    int[] array = {255, 1024, 0, 65536, 255};

    int index = 0;
    for(int num : array) {
	    if(!getFlag(num)) {
	        //未出现的元素
	        array[index] = num;
	        index = index + 1;
            //设置标志位
            setFlag(num);
            System.out.println("set " + num);
        } else {
	        System.out.println(num + " already exist");
	    }
    }
}

public static void setFlag(int num) {
	//使用每个数的低三位作为byte内的映射
    //例如: 255 = (11111111)
    //低三位(也就是num & (0x07))为(111) = 7, 则byte的第7位为1, 表示255已存在
	flags[num >> 3] |= 0x01 << (num & (0x07));
}

public static boolean getFlag(int num) {
	return (flags[num >> 3] >> (num & (0x07)) & 0x01) == 0x01;
}

其实，就是按int从小到大的顺序依次摆放到byte[]中

很显然，对于小数据量、数据取值很稀疏，上面的方法并没有什么优势，但对于海量的、取值分布很均匀的集合进行去重，Bitmap极大地压缩了所需要的内存空间。于此同时，还额外地完成了对原始数组的排序工作。缺点是，Bitmap对于每个元素只能记录1bit信息，如果还想完成额外的功能，恐怕只能靠牺牲更多的空间、时间来完成了。

布隆过滤器（Bloom Filter）

然而Bitmap不是万能的，如果数据量大到一定程度，如开头写的64bit类型的数据，还能不能用Bitmap？我们来算一算：

2⁶⁴bit = 2⁶¹ Byte = 2048PB = 2EB

EB（Exabyte，艾字节）这个计算机科学中统计数据量的单位有多大，有兴趣的小伙伴可以查阅下资料。这个量级的Bitmap，已经不是人类硬件所能承担的了。我相信谁也不会想用集群去计算这么一个问题吧1？所以Bitmap的好处在于空间复杂度不随原始集合内元素的个数增加而增加，而它的坏处也源于这一点——空间复杂度随集合内最大元素增大而线性增大。

所以接下来，我们要引入另一个著名的工业实现——布隆过滤器（Bloom Filter）。如果说Bitmap对于每一个可能的整型值，通过直接寻址的方式进行映射，相当于使用了一个哈希函数，那布隆过滤器就是引入了k ( k > 1 )个相互独立的哈希函数，保证在给定的空间、误判率下，完成元素判重的过程。下图中是k = 3 时的布隆过滤器。

在这里插入图片描述
x,y,z经由哈希函数映射将各自在Bitmap中的3个位置置为1，当w出现时，仅当3个标志位都为1时，才表示w在集合中。图中所示的情况，布隆过滤器将判定w不在集合中。

那么布隆过滤器的误差有多少？k的值与数据量n有什么关系吗？详细数学分析请参考原文，
我在这只给出结论：

哈希个数 k = n/m * ln2 ≈ 0.7n/m 误差率 ε ≈ 0.5^k^

若以m = 8n ， k = 0.7 * m/n = 5.6计算，Bitmap集合的大小为2⁴² bit = 2³⁹ Byte = 512GB，此时的ε = 0.5^5.6 ≈ 0.02 。并且要知道，以上计算的都是误差的上限。当输入元素个数逼近集合总元素n时，误差率便逐渐逼近这个上界。

布隆过滤器通过引入一定错误率，使得海量数据判重在可以接受的内存代价中得以实现。从上面的公式可以看出，随着集合中的元素不断输入过滤器中(n增大)，误差将越来越大。但是，当Bitmap的大小m（指bit数）足够大时，比如比所有可能出现的不重复元素个数还要大10倍以上时，错误概率是可以接受的。相比于单纯的bitmap，这个算法跳出了空间复杂度对待判元素值域的依赖，转而依赖总元素个数，这是一个更加工程可实现的算法——前者不管你的数集有多大，所需要的内存空间是一定的；后者，数集越大，想要达到相同误判率，所需要的内存空间就越大。

最后我们所要做的，就是实现一个布隆过滤器，然后利用它对硬盘上的5TB数据一一判重，并写回硬盘中。