布隆过滤器应用，原理和性能分析

1.应用

布隆过滤器用于判断某一个值是不是已经存在。比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，而它每次推荐时都要去重，以去掉那些我们已经看过的内容。

布隆过滤器是专门用来解决这种去重问题的，它在起到去重作用的同时，在空间上还能节省90%以上，但是会有一定的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说某个值不存在时，那就肯定不存在。

用在推送去重的场景中，布隆过滤器可以准确地过滤掉那些用户已经看过的内容，用户没有看过的内容，它也会过滤掉一小部分（误判），这样就可以保证推荐给用户的内容都是无重复的。

2.原理

1.布隆过滤器数据结构

布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：

如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 1、4、7，则上图转变为：

Ok，我们现在再存一个值 “tencent”，如果哈希函数返回 3、4、8 的话，图继续变为：

值得注意的是，4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位，因此它被覆盖了。现在我们如果想查询 “dianping” 这个值是否存在，哈希函数返回了 1、5、8三个值，结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “dianping” 这个值不存在。而当我们需要查询 “baidu” 这个值是否存在的话，那么哈希函数必然会返回 1、4、7，然后我们检查发现这三个 bit 位上的值均为 1，那么我们可以说 “baidu” 存在了么？答案是不可以，只能是 “baidu” 这个值可能存在。

这是为什么呢？答案跟简单，因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “taobao” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “taobao” 这个值存在。

2.如何选择哈希函数个数和布隆过滤器长度

很显然，过小的布隆过滤器很快所有的 bit 位均为 1，那么查询任何值都会返回“可能存在”，起不到过滤的目的了。布隆过滤器的长度会直接影响误报率，布隆过滤器越长其误报率越小。

另外，哈希函数的个数也需要权衡，个数越多则布隆过滤器 bit 位置位 1 的速度越快，且布隆过滤器的效率越低；但是如果太少的话，那我们的误报率会变高。

k 为哈希函数个数，m 为布隆过滤器长度，n 为插入的元素个数，p 为误报率

如何选择适合业务的 k 和 m 值呢，这里直接贴一个公式：

3.性能分析

1.时间和内存分析

redis 布隆过滤器提供的指令有四个。

• bf.add添加元素
• bf.exists查询元素是否存在
• bf.madd批量添加元素
• bf.mexists一次查询多个元素是否存在

和redis基本类型set的部分功能类似，其中bf.add和bf.madd指令可以类比set集合的sadd指令，bf.exists可以类比set集合的sismember指令。这里对bf.add和bf.exists的性能与set集合进行对比测试。

使用Java编写一小段测试程序，由于jedis不支持布隆过滤器，可以使用RedisLabs提供的JReBloom：

public class BloomFilterTest {
    private static final Jedis  jedis       = new Jedis("127.0.0.1", 6379);
    private static final String VALUE_PRE   = "AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789";
    private static final String TEST_KEY    = "test.key";
    private static final String TEST_BF_KEY = "test.bf.key";
    private static final Client client      = new Client("127.0.0.1", 6379);

    public static void main(String[] args) {
        Scanner scan = new Scanner(System.in);
        System.out.println("输入测试条数：");
        int times = scan.nextInt();
        System.out.println("输入测试指令：");
        String order = scan.next();
        System.out.println("----start test----");

        long start = System.currentTimeMillis();
        if ("sadd".equals(order)) {
            sadd(times);
        } else if ("bfadd".equals(order)) {
            bfadd(times);
        } else if ("bfexists".equals(order)) {
            bfexists(times);
        } else if ("sismember".equals(order)) {
            sismember(times);
        }

        System.out.println(order + "共耗时" + (System.currentTimeMillis() - start) + "ms");
        jedis.close();
        client.close();
    }

    private static void sismember(int times) {
        for (int i=0; i<times; i++) {
            String item = generateString(i);
            jedis.sismember(TEST_KEY, item);
        }
    }

    private static void bfexists(int times) {
        for (int i=0; i<times; i++) {
            String item = generateString(i);
            client.exists(TEST_BF_KEY, item);
        }
    }

    private static void bfadd(int times) {
        for (int i=0; i<times; i++) {
            String item = generateString(i);
            client.add(TEST_BF_KEY, item);
        }
    }

    private static void sadd(int times) {
        for (int i=0; i<times; i++) {
            String item = generateString(i);
            jedis.sadd(TEST_KEY, item);
        }
    }

    private static String generateString(int i) {
        return VALUE_PRE + i;
    }
}

测试流程：

首先，使用redis的redis-cli info memory命令看下当前redis的内存情况

编译运行java程序，插入100w条记录进行测试，value大小在30个字符左右。

1.bf.add指令

内存占用情况

2.sadd指令

内存占用

可以看出，bf.add指令与sadd指令在时间上相比并没有优势，但是在内存占用上来说，set集合的内容占用大概是布隆过滤器的10倍。

3.sismember指令

4.bf.exists指令

2.误差分析

稍微修改下上面的程序

public class BloomFilterError {
    private static final Jedis  jedis       = new Jedis("127.0.0.1", 6379);
    private static final String VALUE_PRE   = "AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789";
    private static final String TEST_BF_KEY = "test.bf.key";
    private static final Client client      = new Client("127.0.0.1", 6379);

    public static void main(String[] args) {
        for (long i=100000; i<=1000000;) {
            int bfexists = bfexists(i);
            System.out.printf("count=" + i + "\tbfexists=" + bfexists);
            System.out.printf("\terror percentages=%.3f\n", Math.abs(i - bfexists)/(i*0.01));
            i += 100000;
        }

        jedis.close();
        client.close();
    }

    private static int bfexists(long times) {
        int correct = 0;
        for (int i=0; i<times; i++) {
            String item = generateString(i);
            if (client.exists(TEST_BF_KEY, item)) {
                correct++;
            }
        }
        return correct;
    }

    private static String generateString(int i) {
        return VALUE_PRE + i;
    }
}

运行结果：

可以看到存在的正确率是100%。

修改下generateString的逻辑，生成的全是布隆过滤器中不存在的值：

private static String generateString(int i) {
    return VALUE_PRE + "0" + i;
}

运行程序，看下判断的正确率：

可以看到正确率都在98.6%以上。

plus

误判率可以使用公式计算，要求误判率越低，所需要的空间越大。如果一千万的数据，误判率允许 1%， 大概需要11M左右；如果要求误判率为 0.1%，则大概需要 17 M左右。可以使用bloom filter calculator计算。https://krisives.github.io/bloom-calculator/

参考博文：

https://zhuanlan.zhihu.com/p/43263751