判断元素是否存在于集合中(使用Bloom Filter)

     今天，我们来聊Bloom Filter, 它是1970年由Bloom发明的，在判断元素是否存在于集合中时，有广泛的应用。

      在前面的笔试面试题目解析中，我们介绍了bitmap的原理：

      笔试面试题目：求整数的交集(使用bitmap)

      使用bitmap可以判断一个非负整数是否存在于集合中，我们需要512M的空间来标记所有的非负整数(4字节无符号整型)，如下：

     在bitmap中，如果要标记n, 实际上是在第n个bit位标记1，这里的hash函数实际上就是hash(x)=x, 永远不会出现hash冲突。

      因此，对于给定的非负整数集合S而言，可以遍历S中的非负整数，并逐个标记到bitmap中。对于给定的某一非负整数k，直接获取BitMap[k]的值，根据该值是0还是1，就可以判断k是否存在于S中。

       

     然而，如果目标对象是字符串，怎么办呢？ 显然不能用hash(x)=x这种hash函数，而应该实现字符串到非负整数的变换，如下：

     可以看到，通过hash函数，字符串也可以被标记到bitmap中。而且，可以通过选取合理的hash函数，来控制hash值的范围，不需要让hash值大到4294967295，从而能大大节省空间。

      因此，对于给定的字符串集合S而言，可以遍历S中的字符串，并把对应的hash值逐个标记到bitmap中。对于给定的某一字符串str，直接获取hash(str)对应的bitmap的值，根据该值是0还是1，就可以判断str是否存在于S中。

      然而，当字符串集合S中的元素较多时，映射到非负整数后，必然会存在hash冲突，而且无法避免，比如，可能出现hash("xyz")和hash("abc")的值刚好都是4，从而无法判断"xyz"是否存在于S中，怎么办呢？

      既然一次hash容易冲突，那可以考虑引入多次hash，多次同时冲突的概率就小很多，这就是Bloom Filter的思想：

      因此，对于给定的字符串集合S而言，可以遍历S中的字符串，并把每个字符串对应的hash1、hash2和hash3的值都标记到bitmap中。对于给定的某一字符串str，直接获取hash1(str)、hash2(str)和hash3(str)对应的bitmap值，当这3个bitmap值中任意一个不为1时，可知str一定不存在于S中。而当这3个bitmap值都为1时，认为str存在于S中(并不是100%准确)。

     可以看到，如上Bloom Filter会有一定的误判率，这个误判率是可以分析的。对于给定集合S而言，只要选择合理的hash函数个数m和bitmap的长度n，就可以让Bloom Filter的准确性相当可靠，具体的数学分析可以参考吴军老师的《数学之美》。

     引入Bloom Filter后，能标记字符串，而且大大节省了bitmap长度和空间，只是牺牲了一些准确性。在大数据的相关应用中，会经常看到Bloom Filter的身影。