布隆过滤器原理及应用

1.先说下背景，肯定遇到这种情况，判断元素在不在一个集合里面，如果，集合里面的元素非常大，这个判断过程是非常耗时的，而且集合占用空间也很大。

2.应用场景，网页黑名单，垃圾邮件过滤，电话黑名单，url去重，内容推荐等。

3.原理：布隆过滤器实际上就是一个字节数组，字节数组的值是0或1，在添加元素的时候，对值通过多个hash函数的计算，得到多个0,1然后在字节数组里面在相应的位置设置值。这样处理完所有的值之后，一个完整的布隆过滤器就完成了。之后就进入应用阶段了，判断值在不在布隆过滤器里面了，如果新输出的对象是之前处理放在布隆过滤器里面的，那就一定是存在，因为两次计算得到的hash值是一样的，肯定在，那对于新的对象了，这时就有可能会出现误杀了，新的值的hash值可能与老的值hash一样，于是布隆过滤器就认为，这个值是黑名单里的了，会造成误杀的结果。相当于就是宁愿杀错一k，不愿放过一个。

4.改进：通常误杀的话，可以通过两个方法去补救，再建立一个白名单，从布隆器本身去优化，降低误杀率。

5.再举例，头条给你推荐内容的时候，肯定要去查询一个的你的历史阅读记录，你看过的内容，一定是存在你的记录中的，新内容会有很小的机率认为是你之前看过的。