布隆过滤器原理和基于BloomFilter的误判率展示

布隆过滤器原理和基于BloomFilter的误判率展示

 

布隆过滤器

布隆过滤器原理

布隆过滤器是由n个Hash函数和一个二进制数组组成。
如图所示（参考，hash函数可以多个）

1.保存操作

1. 发来一个请求数据hello
2. 对数据hello经过三次hash运算，分别得到三个值（假设1，3，5）。
3. 在对应的二进制数组里，将下标为1，3，5的值置为1。
4. 这样hello数据就保存了。

2.查询操作

1. 发来一个请求数据hello
2. 对数据hello经过三次hash运算，分别得到三个值（假设1，3，5）。
3. 在二进制数组里，将下标为1，3，5的值取出来，如果都为1，则表示该数据已经存在。

3.删除操作

布隆过滤器不好进行删除操作。
如果hash(hello)=1
这时候hash(world)=1
如果删除了hello的值，意味着word的值也会被其删除。

4.误判率

例如：
假设保存两个值，hello和word
hello对应的index为1，3，5
word对应的index为2，4，6

而此时来了一个值java，对应的index为1，4，5
查询得出结果：exist(java) = true
但其实，java这个数据并不存在，这就会产生一定的误判。

误判率代码展示(基于BloomFilter)

public class BloomTest {
    public static int size = 1000000;
    /**
     * 期望的误判率
     * 误判率越小 运算的时间越久
     */
    public static double fpp = 0.01;

    private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, fpp);

    public static void main(String[] args) {
        // 插入10W样本
        for (int i = 0; i < size; i++) {
            bloomFilter.put(i);
        }

        int count = 0;
        // 误判率 用另外10w数据样本
        for (int i = size; i < size + 100000; i++) {
            if (bloomFilter.mightContain(i)) {
                count++;
                System.out.println(i + "被误判了");
            }
        }
        System.out.println("总的误判数量：" + count);

    }

}

结论：
计算的数据是10W，误判的结果约等于1K，此时误判率为0.01，和我们程序设定的值一样。

问题：那是不是误判率越低越好了？
在程序里将误判率改成0.000000001，发现运算跑了好久好久…
误判率越低，需要的hash函数越多，运算越久，存储越大，消耗的性能也越高。
误判率越高，数据不准确。
如何取一个折中的值还得看具体的业务。