Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloom Filter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下,Bloom Filter通过极少的错误换取了存储空间的极大节省。
一、集合表示和元素查询
含义:利用bit数组简洁地表示一个集合,并能判断一个元素是否属于这个集合
优点:时间和空间都很省
缺点:有一定的错误
应用:在判断元素是否属于一个很大的集合(相对静止),能容忍低错误率的场景中使用
假设有长度为12的bit数组
初始有一个包含两个元素x1、x2的集合,有3个相互独立的hash函数,对应x1、x2的hash值为: x1(1,4,8)、x2(4,6,10)
我们将相应的bit位从0置为1
![](https://i-blog.csdnimg.cn/blog_migrate/5cb386cc41159ab75ea0298bb700d394.jpeg)
现有3个元素y1(0,1,4)、y2(4,6,10)、y3(1,6,8)从bit数组中我们可以判定y1一定不在集合中,y2、y3在集合中对不在集合中的判断是正确的,对在集合中的判断有正确(y2)、有错误(把不在集合中的y3误判为在集合中)这里就有一个错误率
二、错误率估计
前面我们已经提到了,Bloom Filter在判断一个元素是否属于它表示的集合时会有一定的错误率(false positive rate),下面我们就来估计错误率的大小。在估计之前为了简化模型,我们假设kn<m且各个哈希函数是完全随机的。当集合S={x1, x2,…,xn}的所有元素都被k个哈希函数映射到m位的位数组中时,这个位数组中某一位还是0的概率是(过程1):
其中1/m表示任意一个哈希函数选中这一位的概率(前提是哈希函数是完全随机的),(1-1/m)表示哈希一次没有选中这一位的概率。要把S完全映射到位数组中,需要做kn次哈希。某一位还是0意味着kn次哈希都没有选中它,因此这个概率就是(1-1/m)的kn次方。令p = e-kn/m是为了简化运算,这里用到了计算e时常用的近似: 令ρ为位数组中0的比例,则ρ的数学期望E(ρ)= p’。在ρ已知的情况下,要求的错误率(false positive rate)为:
(1-ρ)为位数组中1的比例,(1-ρ)k就表示k次哈希都刚好选中1的区域,即false positive rate。上式中第二步近似在前面已经提到了,现在来看第一步近似。p’只是ρ的数学期望,在实际中ρ的值有可能偏离它的数学期望值。M. Mitzenmacher已经证明[2] ,位数组中0的比例非常集中地分布在它的数学期望值的附近。因此,第一步的近似得以成立。分别将p和p’代入上式中,得:
![](https://i-blog.csdnimg.cn/blog_migrate/555ebd8fad4973fc947509b301977bd3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/210e96abed542b267202a20fac8268cc.png)
相比p’和f’,使用p和f通常在分析中更为方便。
三、最优的哈希函数个数
既然Bloom Filter要靠多个哈希函数将集合映射到位数组中,那么应该选择几个哈希函数才能使元素查询时的错误率降到最低呢?这里有两个互斥的理由:如果哈希函数的个数多,那么在对一个不属于集合的元素进行查询时得到0的概率就大;但另一方面,如果哈希函数的个数少,那么位数组中的0就多。为了得到最优的哈希函数个数,我们需要根据上一小节中的错误率公式进行计算。
先用p和f进行计算。注意到
根据对数恒等式
我们令,只要让g取到最小,f自然也取到最小。由于
,我们可以将g写成(过程2)
则可以算出当p = 1/2(过程3),也就是时,g取得最小值。在这种情况下,最小错误率
。另外,注意到p是位数组中某一位仍是0的概率,所以p = 1/2对应着位数组中0和1各一半。换句话说,要想保持错误率低,最好让位数组有一半还空着。
需要强调的一点是,p = 0.5时错误率最小这个结果并不依赖于近似值p和f。同样对于,
,
,我们可以将g’写成
同样根据过程3可以得到当p’ = 1/2时,g’取得最小值。
四、位数组的大小
下面我们来看看,在不超过一定错误率的情况下,Bloom Filter至少需要多少位才能表示全集中任意n个元素的集合。假设全集中共有u个元素,允许的最大错误率为є,下面我们来求位数组的位数m。
假设X为全集中任取n个元素的集合,F(X)是表示X的位数组。那么对于集合X中任意一个元素x,在s = F(X)中查询x都能得到肯定的结果,即s能够接受x。显然,由于Bloom Filter引入了错误,s能够接受的不仅仅是X中的元素,它还能够є (u - n)个false positive。因此,对于一个确定的位数组来说,它能够接受总共n + є (u - n)个元素。在n + є (u - n)个元素中,s真正表示的只有其中n个,所以一个确定的位数组可以表示
个集合。m位的位数组共有个不同的组合,进而可以推出,m位的位数组可以表示
个集合。全集中n个元素的集合总共有 个,因此要让m位的位数组能够表示所有n个元素的集合,必须有
在n<<єu时即有(过程4):
上式中的近似前提是n和єu相比很小,这也是实际情况中常常发生的。根据上式,我们得出结论:在错误率不大于є的情况下,m至少要等于才能表示任意n个元素的集合。
上一小节中我们曾算出当时错误率f最小,这时
。现在令f≤є,即
可以推出
这个结果比前面我们算得的下界n log2(1/є)大了log2 e ≈ 1.44倍。这说明在哈希函数的个数取到最优时,要让错误率不超过є,m至少需要取到最小值的1.44倍。
即是说n个元素的集合至少需要大小的位数组才可以完全表示,要在在哈希函数个数取到最优,错误率不超过є,应有
,此时
五、 总结
在计算机科学中,我们常常会碰到时间换空间或者空间换时间的情况,即为了达到某一个方面的最优而牺牲另一个方面。Bloom Filter在时间空间这两个因素之外又引入了另一个因素:错误率。在使用Bloom Filter判断一个元素是否属于某个集合时,会有一定的错误率。也就是说,有可能把不属于这个集合的元素误认为属于这个集合(False Positive),但不会把属于这个集合的元素误认为不属于这个集合(False Negative)。在增加了错误率这个因素之后,Bloom Filter通过允许少量的错误来节省大量的存储空间。
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/jiaomeng/archive/2007/01/27/1495500.aspx
六、 过程
1. 过程1
由得:
2. 过程2
由和
得,则
3. 过程3
由,求g的最小值,
令,
,m和n暂时看成常数,
令,由
,
所以,
,
,又
所以当h取得最大值时,g取得最小值,
根据均值不等式:,即
h的最大值即为的最小值,
对该式求导,
令,因
,
,
有
固要,只有
,由此可知当
时,f取得最小值,h取得最大值,g取得最小值
4. 过程4
有,则
,即
根据Stirling公式,及
令
可以得出
所以