布隆过滤器

基本介绍

布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。
布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。

应用场景

需要判断某个数据是否在集合中，同时内存不够且检索速度慢的情况下，不妨考虑下布隆过滤器，但业务上要可以忍受判断失误率。

如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间越来越大。同时检索速度也越来越慢。

核心思想

当一个元素被加入集合时，通过K个Hash函数将这个元素映射成一个位数组（bitmap，这个数组中每一个位置只占有1个bit，而每个bit只有0和1两种状态）中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。(由于当输入对象过多，而位数组也就是bitmap过小，则会出现大部分为黑的情况，那样就容易发生误判！因此使用布隆过滤器是需要容忍错误率的。)

布隆过滤器重要参数计算

通过上面的描述，我们可以知道，如果输入量过大，而bitarray空间的大小又很小，那么误判率就会上升。那么bitarray空间大小怎么确定呢？可以根据以下推导公式计算

假设输入对象个数为n，bitmap大小（也就是布隆过滤器大小）为m，所容忍的误判率p和哈希函数的个数k。计算公式如下：（小数向上取整）

$m=-\frac{n\ast lnp}{{(ln2)}^2}$

$k=ln2\ast \frac{m}{n}=0.7\ast \frac{m}{n}$

$p=(1-e^{-\frac{nk}{m}}{)}^k$

注意：由于我们计算的m和k可能是小数，那么需要经过向上取整，此时需要重新计算误判率p！

参考：

• https://zhuanlan.zhihu.com/p/72378274
• https://blog.csdn.net/fouy_yun/article/details/81075432#%E5%B8%83%E9%9A%86%E8%BF%87%E6%BB%A4%E5%99%A8