布隆过滤器

布隆过滤器使用场景

例如如下问题：
（1）字处理软件中，需要检查一个英语单词是否拼写正确
（2）在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上
（3）在网络爬虫里，一个网址是否被访问过
（4）yahoo, gmail等邮箱垃圾邮件过滤功能
以上这些场景有个共同的问题：如何查看一个东西是否在有大量数据的池子里面。

布隆过滤器原理

布隆过滤器包含一个超大的位数组 以及 k个hash函数（每个hash函数的作用就是将元素映射到位数组的一个位置上）
总体思路是，向过滤器中添加元素时，就是通过k个不同的hash函数对该元素进行hash运算，得到k个位置，然后将位数组中这k个位置上的值置为1。当要查询一个元素是否在布隆过滤器中时，将这个元素通过k个hash函数得到k个位置，如果这k个位置上有1个位置是0，则肯定不再布隆过滤器中。如果都是1则可能在过滤器中。

以上图为例，具体的操作流程：假设集合里面有3个元素{x, y, z}，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元素，将元素依次通过3个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候，同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1，则可以判断该元素一定不存在集合中。反之，如果3个点都为1，则该元素可能存在集合中。注意：此处不能判断该元素是否一定存在集合中，可能存在一定的误判率。可以从图中可以看到：假设某个元素通过映射对应下标为4，5，6这3个点。虽然这3个点都为1，但是很明显这3个点是不同元素经过哈希得到的位置，因此这种情况说明元素虽然不在集合中，也可能对应的都是1，这是误判率存在的原因。
添加元素
将要添加的元素给k个哈希函数
得到对应于位数组上的k个位置
将这k个位置设为1
查询元素
将要查询的元素给k个哈希函数
得到对应于位数组上的k个位置
如果k个位置有一个为0，则肯定不在集合中（一般是将这k个结果做&运算）
如果k个位置全部为1，则可能在集合中

import java.util.BitSet;

public class SimpleBloomFilter {
    private static final int DEFAULT_SIZE = 2 << 24; //位数组默认大小
    private static final int[] seeds = new int[]{7, 11, 13, 31, 37, 61}; //五个hash函数的seed，可以自己定义hash函数个数。

    private BitSet bitSet = new BitSet(DEFAULT_SIZE); //一个位数组
    private SimpleHash[] hashs = new SimpleHash[seeds.length]; //5个hash函数，可以任意指定

    public SimpleBloomFilter() {
        for (int i = 0; i < hashs.length; i++) {
            hashs[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
        }
    }

    public void add(String value){
        for (int i = 0; i < hashs.length; i++) {
            bitSet.set(hashs[i].hash(value), true);   //将value通过5个hash计算，将每次的hash结果映射到位数组对应位上，并且该位置为1
        }
    }

    public boolean contains(String value){
        boolean result = true;
        for (int i = 0; i < hashs.length; i++) {       //通过5次hash，取出每次hash在位数组中对应的值，每次结果进行&&运算，即每个位上都是1，那么说明可能在集合中，如果有1个不为1，则肯定不再集合中，
            result = result && bitSet.get(hashs[i].hash(value));
        }
        return result;
    }

    public static void main(String[] args) {
        SimpleBloomFilter simpleBloomFilter = new SimpleBloomFilter();
        String url = "www.baidu.com";
        System.out.println(simpleBloomFilter.contains(url));
        simpleBloomFilter.add(url);
        System.out.println(simpleBloomFilter.contains(url));
    }

	//自定义的hash函数，作用是将元素映射到字节数组的某个位置上
    class SimpleHash{
        private int cap;  //字节数组的容量，满足2^n
        private int seed;  //计算hash的种子，每指定一个种子，就生成不一样的hash

        public SimpleHash(int cap, int seed) {
            this.cap = cap;  
            this.seed = seed;
        }
        public int hash(String str){
            int result = 0;
            int len = str.length();
            for (int i = 0; i < len; i++) {   //这里求hash的方法就是，将str每个字符对应的ASSII编码累加起来
                result = seed * result + str.charAt(i);
            }
            return result & (cap - 1);  //让value所得到的hash落到BitSet的某个位置上
        }
    }
}