布隆过滤器

1.布隆过滤器介绍

    布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
布隆过滤器优点：
    相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。另外, Hash函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。
    布隆过滤器可以表示全集，其它任何数据结构都不能。
布隆过滤器缺点：
    布隆过滤器的缺点和优点一样明显。误算率是其中之一。随着存入的元素数量增加，误算率随之增加。常见的补救办法是建立一个小的白名单，存储那些可能被误判的元素。但是如果元素数量太少，则使用散列表足矣。
    另外，一般情况下不能从布隆过滤器中删除元素。我们很容易想到把位列阵变成整数数组，每插入一个元素相应的计数器加1, 这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。
    在降低误算率方面，有不少工作，使得出现了很多布隆过滤器的变种。

2.什么是缓存穿透

    缓存穿透是指用户的请求没有经过缓存而直接请求到数据库上了，比如用户请求的key在Redis中不存在，或者用户恶意伪造大量不存在的key进行请求，都可以绕过缓存，导致数据库压力太大挂掉。

3.如何解决缓存穿透

    ●参数校验，例如可以对用户id进行校验，直接拦截不合法的用户的请求
    ●布隆过滤器，布隆过滤器可以判断这个key在不在数据库中，特点是如果判断这个key不在数据库中，那么这个key-定不在数据库中，如果判断这个key在数据库中，也不能保证这个key-定在数据库中。就是会有少数的漏网之鱼，造成这种现象的原因是因为布隆过滤器中使用了hash算法，对key进行hash时，不同的key的hash值一定不同，但相同的hash的值不能说明这两个key相同。

4.布隆过滤器原理

    布隆过滤器底层使用bit数组存储数据，该数组中的元素默认值是0。
    布隆过滤器第一次初始化的时候，会把数据库中所有已存在的key,经过一系列的hash算法计算， 算出每个key的位置，并将该位置的值置为1,为了减少哈希冲突的影响，可以对每个key进行多次hash计算，如下图：

现在，用户所有的请求都要经过布隆过滤器过滤一遍， 如果只有用户请求的key的hash值都是1才可以通过，否则直接拦截，如下图：