redis学习笔记（三）- 布隆过滤器

布隆过滤器

是什么

说明

布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。

它实际上是一个很长的二进制数组+一系列随机hash算法映射函数，主要用于判断一个元素是否在集合中。

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景，一般想到的是将集合中所有元素保存起来，然后通过比较确定。

链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。

但是随着集合中元素的增加，我们需要的存储空间也会呈现线性增长，最终达到瓶颈。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为O(n),O(logn),O(1)。这个时候，布隆过滤器（Bloom Filter）就应运而生

一句话概括就是：由一个初值都为0的bit数组和多个哈希函数构成，用来快速判断某个数据是否存在。

本质就是判断具体数据存不存在一个大的集合中。

布隆过滤器是一种类似set的数据结构，只是统计结果不太准确。

特点考点

1. 高效的插入和查询，占用空间少，返回的结果是不确定性的。
2. 一个元素如果判断结果为存在的时候元素不一定存在（本质就是Hash冲突），但是判断结果为不存在时，元素一定不存在。
3. 布隆过滤器可以添加元素，但是不能删除元素。因为删除元素会导致误判率增加。
4. 误判只会发生在过滤器没有添加过的元素，对于添加过的元素不会发生误判。
5. 结论备注

有，是可能有

无，是一定无

        可以保证的是，如果布隆过滤器判断一个元素不在一个集合中，那这个元素一定不会在集合中。

经典使用场景

解决缓存穿透问题

缓存穿透是什么？

一般情况下，先查询缓存redis是否有该条数据，缓存中没有时，再查询数据库。

当数据库也不存在该条数据时，每次查询都要访问数据库，这就是缓存穿透。

缓存穿透带来的问题

当有大量请求查询数据库不存在的数据时，就是给数据库带来压力，甚至会拖垮数据库。

方案

可以使用布隆过滤器解决缓存穿透的问题

把已经存在数据的key存在布隆过滤器中，相当于redis前面挡着一个布隆过滤器，当有新的请求时，先到布隆过滤器中查询是否存在，如果布隆过滤器中不存在则直接返回，存在再去查询redis和mysql。

黑名单校验

发现存在黑名单中的，就执行特定操作。比如识别垃圾邮箱，只要是邮箱在黑名单列表中，就识别为垃圾邮件。

假设黑名单的数量是数以亿计的，存放起来就是非常耗费存储空间的，布隆过滤器则是一个较好的解决方案。

把所有黑名单都放在布隆过滤器中，在收到邮件时，判断邮件地址是否在布隆过滤器中即可。

原理

Java中传统的hash

哈希函数的概念是：将任意大小的输入数据转换成特定大小的输出数据的函数，转换后的数据称为哈希值或哈希编码，也叫散列值。

       如果两个散列值是不相同的(根据同一函数)，那么这两个散列值的原始输入页数不相同的。这个特性使散列函数具有确定性的结果，具有这种性质的散列函数称为单向散列函数。

       散列函数的输入和输出不是唯一对应的关系，如果两个散列值相同，两个输入值很可能是相同的，但也可能不同，这种情况称为“散列碰撞（collision）”。

       用hash表存储大数据量时，空间效率还是很低，当只有一个hash函数时，还很容易发生哈希碰撞。

Java中hash冲突的案例

public static void main(String[] args) {
    Set hashCodeSet = new HashSet();
    for (int i = 0; i < 200000; i++) {
        int hashCode = new Object().hashCode();
        if (hashCodeSet.contains(hashCode)) {
            System.out.println("出现了重复的hashcode: " + hashCode + "\t 运行到" + i);
            break;
        }
        hashCodeSet.add(hashCode);
    }
    System.out.println("Aa".hashCode());
    System.out.println("BB".hashCode());
    System.out.println("柳柴".hashCode());
    System.out.println("柴柕".hashCode());
}

初识布隆过滤器

布隆过滤器(bloom Filter)是一种专门用来解决去重问题的高级数据结构。

实质就是一个大型位数组和几个不同的无偏hash函数(无偏表示分布均匀)。由一个初始为零的bit数组和多个哈希函数构成，用来快速判断某个数据是否存在。但是跟hyperloglog一样，他也一样有那么一点点的不精确，也存在一定的误判率。

添加key时：使用多个hash函数对key进行hash运算得到一个整数索引值，对位数组长度进行取模运算得到一个位置，每个hash函数都会得到一个不同的位置，将这几个位置都置1就完成了add操作。

查询key时：使用相同的多个hash函数对key进行hash运算，得到多个整数索引值，根据索引值判断数组位置是否都为1，如果其中一个或多个不为1，那么这个key就不存在，如果都为1，也不排除hash冲突的情况，所以这个key可能存在。

进一步了解

当有变量被加入集合时，通过N个映射函数将这个变量映射成位图中的N个点，把他们设置为1（假定有两个变量都通过3个映射函数）。

查询某个变量的时候我们只要看看这些点是不是都是1，就可以大概率知道集合中有没有他了。

如果这些点，有任何一个为零则被查询变量一定不在，

如果都是1，则被查询变量很可能存在，

为什么说很可能存在，而不是一定存在呢？那是因为映射函数本身就是散列函数，散列函数是会有碰撞的。

布隆过滤器误判率，为什么不要删除？

布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了，这样就无法判断究竟是那个输入产生的，因此误判的根源在于相同的bit位被多次映射且置1。

这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个bit并不是独占的，很有可能多个元素共享了某一位。如果我们之间删除这一位的话，会影响其他元素。

小总结

是否存在

有：很有可能有

无，肯定无，可以保证的是，如果布隆过滤器判断一个元素不在一个集合中，那这个元素一定不在集合中。

使用时最后不要让实际元素数量远大于初始化数量

当实际元素数量超过初始化数量时，应该对布隆过滤器进行重建，重新分配一个size更大的过滤器，再将所有的历史元素批量add运行。

布隆过滤器优缺点

优点

高效的插入和查询，占用空间少

缺点

1. 不能删除元素

因为删掉元素会导致误判率增加，因为hash冲突同一位置可能存的东西是多个共有的，你删除一个元素的同时可能也把其他的删除了。

1. 存在误判

不同数据可能出现相同的hash值