Java集合框架分析（九）——布隆过滤器深入分析及其误判概率计算

         上篇文章简单的介绍了下布隆过滤器，让大家知道了下其原理，现在我们进行下深入分析。

       首先，我们要明确布隆过滤器的几个参数，之前 我们的例子是有一亿的网址要存储，要先建立一个16亿的bit array，然后以每个网址为键值得到8个value值，这里我们就有疑问了，为什么要16亿，为什么要8个value值？那我们不妨把这些都设成未知数，设我们要输入n个元素，生成m个bit位，需要k个hash function得到value值。然后还有我们要分析的一个参数，误报率P(error)。这样一来我们再来看看布隆过滤器的算法。

       首先系统要算出n个元素需要多少个 m bit位并且都设置成0，为了插入一个元素，要用hash算法得到k个value值作为bit array的索引并且将这些索引位置设置成1.若是要查询一个元素是否在表中，还是用Hash算法得到k个value看看这些位置是否全为1.可以知道，如果插入的数据多的时候，可能有一个没有在表中的元素但是得到的k个value索引都是1的情况，这就是误报率P(error)。可以知道，当最初建立的m越大，k越多，P越小。但是如何找到最优的k和m呢？这就需要进行数学计算了。

      假设布隆过滤器中的每个元素都等概率地hash到m个索引位置中的任何一个，则对某一特定bit位在一个元素由某特定hash function插入时没有被置位为1的概率为：

则k个hash function中没有一个对其置位的概率为：

如果插入了n个元素，但都未将其置位的概率，也就是空间未利用的概率为：

则此位被置位的概率为：

 

现在考虑查询阶段，若对应某个要查询的元素的k bits全部置位为1，则可判定其在集合中。因此将某元素误判的概率为：

由于 ，并且   当m很大时趋近于0，所以

 

现在计算对于给定的m和n，k为何值时可以使得误判率最低。设误判率为k的函数为：

设   ， 则简化为

，两边取对数

  , 两边对k求导

下面求最值

 

 

 

 

 

 

 

因此，即当   时误判率最低，此时误判率为：

     

从上面的推导可以看出，要想创建一个布隆过滤器，我们要输入两个参数，就是n和P(error).之后的所有参数将由系统计算，并由此建立布隆过滤器。

 

系统首先要计算需要的内存大小m bits:

 

再由m，n得到k：

 

至此系统所需的参数已经备齐，接下来add n个元素至布隆过滤器中，再进行查询。

 根据公式，当k最优时：

因此可验证当P=1%时，存储每个元素需要9.6 bits：

 

回到之前的k的定义：

   从而使得P(error)最小时，我们注意到：

 中的   ，即

此概率为某bit位在插入n个元素后未被置位的概率。因此，想保持错误率低，布隆过滤器的空间使用率需为50%。

      把我们之前的例子套进去，还是一亿个网址，若采用布隆过滤器，取k=8。因为n为1亿，所以总共需要  被置位为1，又因为在保证误判率低且k和m选取合适时，空间利用率为50%，所以总空间为：

如果用哈希表存储，每个网址对应成一个8byte的信息指纹，在保证效率的情况下哈希表的存储效率最好不超过50%。此时每个元素占8 bytes，总空间为：

 

两者的空间占有率有着明显的差距，布隆过滤器是哈希表的1/8.