布隆过滤器

一、基本概念
布隆过滤器是1970年由布隆提出来的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合内。它的优点是空间效率和查询效率都远远超过一般的算法。缺点是有一定的识别率和删除困难。

• 如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路.但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构（有一个动态数组，+ 一个 hash 函数）。它可以通过一个 Hash 函数将一个元素映射成一个位阵列（Bit array）中的一个点。这样一来，我们只要看看这个点是不是 1 就可以知道集合中有没有它了。这就是布隆过滤器的基本思想。
• 总结起来说：bloomfilter，布隆过滤器：迅速判断一个元素是不是在一个庞大的集合内，
  但是他有一个弱点：它有一定的误判率
  误判率：原本不存在于该集合的元素，布隆过滤器有可能会判断说它存在，但是，如果
  布隆过滤器判断说某一个元素不存在该集合，那么该元素就一定不在该集合内

二、优缺点
优点：
相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。另外, Hash 函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。
布隆过滤器可以表示全集，其它任何数据结构都不能；
缺点：
存在一定的误判率，那么在你不能容忍有错误率的情况，布隆过滤器不适用
布隆过滤器不支持删除操作

三、实现原理
布隆过滤器需要的是一个位数组(和位图类似, bytes 数组)和 K 个映射函数(和 Hash 表类似)，在初始状态时，对于长度为 m 的位数组 array，它的所有位被置 0。

四、误判率估计
维数组的大小：m
总共的数据大小为：n
hash 函数的个数为：k
假设布隆过滤器中的 hash function（哈希函数）满足 simple uniform hashing（单一均匀散列）假设：每个元素都等概率地 hash 到 m 个 slot 中的任何一个，与其它元素被 hash 到哪个 slot 无关。若 m 为 bit 数，则:

• 对某一特定 bit 位在一个元素，调用了某个 hash 函数之后，别改成了 1 的概率是： 1/m
• 对某一特定 bit 位在一个元素由某特定 hash function 插入时没有被置位为 1 的概率为：1-1/m
• 则 k 个 hash function 中没有一个对其置位为 1 的概率为，也就是该 bit 位再 k 次 hash 之后还一直保持为 0 的概率：
• 
  如果插入了 n 个元素，但都未将其置位的概率为：
  当所有的元素都被插入进来以后，某一个特定的 bit 位还没有被改成 1 的概率：
  则此位被置位（被改成了 1）的概率为：
  
• 当所有的元素都被插入进来以后，某一个特定的 bit 位被改成 1 的概率：
  
• 现在考虑查询阶段，若对应某个待查询元素的 k bits 全部置位为 1。因此将某元素误判的概率为： 当要查询一个元素的时候，我们要调用 k
  个 hash 函数得到 k 个位置值，然后再去判断这 k个位置的位值是不是都是 1：
  
  
  最优哈希个数