Bloom filter

是什么？

Bloom filter是由Howard Bloom在1970年提出的二进制向量数据结构，它具有空间和时间效率，被用来检测一个元素是不是集合中的一个成员。

为什么会出现？

当数据量非常大时，常规的数据结构搜索需要消耗大量的时间，如果用哈希表存数据虽然时间上查询效率达到O(1)，但是由于哈希表存储效率通常小于50%（哈希冲突），因此会消耗巨大的内存。所以有了布隆过滤器。

哈希？

哈希表中元素是由哈希函数确定的。将数据元素的关键字K作为自变量，通过一定的函数关系（称为哈希函数），计算出的值，即为该元素的存储地址。

布隆过滤器的特点？

如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。 Bloom filter 是牺牲了正确率和时间以节省空间。

原理？

布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k。

 

以上图为例，具体的操作流程∶假设集合里面有3个元素x, y,z)，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元素，将元素依次通过3个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候，同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1，则可以判断该元素一定不存在集合中。反之，如果3个点都为1，则该元素可能存在集合中。

优缺点？

Bloom filter 优点就是它的插入和查询时间都是常数，另外它查询元素却不保存元素本身，具有良好的安全性。它的缺点也是显而易见的，当插入的元素越多，错判“在集合内”的概率就越大了，另外 Bloom filter 也不能删除一个元素，因为多个元素哈希的结果可能在 Bloom filter 结构中占用的是同一个位，如果删除了一个比特位，可能会影响多个元素的检测。