【Redis从入门到入土】布隆过滤器简介、特点和原理

面试场景题

1. 共有50亿个电话号码，现在有10万个电话号码，如何要快速准确的判断这些电话号码是否已经存在？

1. 通过数据库查询 – 无法实现快速

2. 数据预放到内存集合里，50亿*8字节大概40G，占用的内存很大

2. 判断是否存在，布隆过滤器了解过吗

3. 安全连接网站，全球数10亿的网址判断

4. 黑名单校验，识别垃圾邮件

5. 白名单校验，识别出合法用户进行后续处理

简介

由一个初值都为0的bit数组和多个哈希函数构成，用来快速判断集合中是否存在某个元素。

设计思想：目的是减少内存占用；实现方式是不保存数据信息，只是在内存中做一个是否存在的标记flag。

备注：布隆过滤器是一种类似set的数据结构，只是统计结果在巨量数据下有点小瑕疵，不够完美。

通常情况下我们会遇到很多要判断一个元素是否在某个集合中的业务场景，一般想到的是将集合中的所有元素保存起来，然后通过比较进行确定。比如链表、树、哈希表等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间也会呈现线性增长，最终速度也会越来越慢，上述三种结构的检索时间复杂度分别是O(n),O(logn),O(1)

特点

可以高效地插入和查询，占用空间少，但是返回的结果是不确定性的。

一个元素进行判断的时候，如果判断结果是存在，那么结果不一定存在；但是如果判断结果为不存在，则一定不存在。

原因：通过哈希算法后可能会存在冲突，在某一位上为1，也可能是别的元素存在导致这一位为1

布隆过滤器可以添加元素，但不能删除元素。由于涉及hashcode判断依据，删掉元素可能会导致误判率增加。

实现原理和数据结构

是一种专门来解决去重问题的高级数据结构，实质上就是一个大型位数组和几个不同的无偏hash函数（无偏表示分布均匀）。

添加key时

使用多个hash函数对key进行hash运算得到一个整数索引值，对位数组长度进行取模运算得到一个位置，每个hash函数都会得到一个不同的位置，将这几个位置都置为1就完成了add操作。

查询key时

只要有一位为0就表示这个key不存在；但是如果都是1，则不一定存在对应的key

hash冲突导致数据不精准

当有变量被加入集合时，通过N个映射函数将这个变量映射成位图中的N个点，把他们设置为1。假设有两个变量都通过三个映射函数。

查询某个变量的时候，我们只需要看看这些点是不是都是1，就可以知道是否存在了。

如果这些点，有任何一个值为0则查询变量一定不存在；但是如果都是1，则查询变量可能存在。原因是映射函数本身就是散列函数，散列函数是会有碰撞的。

改进应用：

因为布隆过滤器的快速检测特性，我们可以把数据写入数据库时，使用布隆过滤器做个标记。当缓存缺失后，应用查询数据库时，可以通过查询布隆过滤器快速判断数据是否存在。如果不存在，就不用去数据库查询了。这种情况下，即使发生缓存穿透，大量请求也只会查询Redis和布隆过滤器，而不会积压到数据库，就不会影响数据库的正常运行。布隆过滤器可以使用Redis实现，本身就能承担较大的并发访问压力。

哈希函数

哈希函数的概念是将任意大小的输入数据转换成特定大小的输出数据的函数，转换后的数据称为哈希值或散列值。

如果两个散列值是不相同的，根据统一函数，那么这两个散列值的原始输入也是不相同的。这个特性是散列函数具有确定性的结果，具有这种性质的散列函数称为单向散列函数。

散列函数的输入和输出不是唯一对应关系的，如果两个散列值相同，两个输入值很可能是相同的，但也很可能不同，这种情况称为散列碰撞。

用hash表存储大数据量时，空间效率还是很低，当只有一个hash函数时，很容易发送散列碰撞。

使用

初始化bitmap

所有位置全部初始化为0

添加占坑位

添加数据的时候，为了尽量地址不冲突，**使用多个hash函数对key进行运算**，得到下标索引值，对数组长度进行取模运算得到位置，每个hash函数都会得到一个不同的位置，再把位数组的这几位设置为1就完成了add操作。

判断是否存在

查询某个key是否存在的时候，先把这个key通过**相同的多个hash函数**进行运算，查看对应的位置是否都是1，只要有一个位是0，就说明布隆过滤器里这个key**不存在**；如果这几个位置全部是1，那么说明**可能存在**。

思考

思考1：为什么尽量避免在布隆过滤器删除元素？

布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位设置位1了，这样就无法判断究竟是哪个输入产生的。因此误判的根源在于相同的bit位被多次映射且设置为1

这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个bit都不是独占的，很有可能多个元素共享了某一位。如果直接删除这一位的话，会影响其他的元素，增加误判率。

思考2：使用技巧

不要让实际元素数量远大于初始化数量，一次给够避免扩容；

当实际元素数量超过初始化数量时，应该对布隆过滤器进行重建，重新分配一个size更大的过滤器，再将所有历史元素批量add进行。用重建替代删除。