Redis之BloomFilter避免缓存穿透的利器

最新推荐文章于 2024-07-29 09:28:04 发布

java冢狐

最新推荐文章于 2024-07-29 09:28:04 发布

阅读量409

点赞数 1

分类专栏： Redis 文章标签： java redis 布隆过滤器

本文链接：https://blog.csdn.net/issunmingzhi/article/details/109163245

版权

Redis 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

在使用Redis的情况下，容易遇到海量的数据需要查重，缓存穿透如何避免之类的问题。其实这些问题都可以通过BloomFilter布隆过滤器来实现

Bloom Filter概念

布隆过滤器，是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否存在一个集合中。主要的优点就是空间效率和查询时间都远远超过一般的算法。缺点就是有一定的误识别率和删除比较困难。

Bloom Filter原理

布隆过滤器的基本思想就是：当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把他们置为1.当检索的时候，我们只需要查看这些点是不是1，就大约知道集合中有没有它；如果有任何一个0，则被检测的元素一定不存在；如果都是1，则大概率存在。

其与单哈希函数Bit-Map不同之处在于：其使用了K个哈希函数，每个字符串都与K个bit对应，从而大大降低了冲突的概率。

缺点

由于Bloom Filter具有在时间和空间上的高效率，是因为舍弃了判断的准确率和删除的便利性

存在误判，查询的元素没有存在容器中，但是恰好hash后的k个位置上都是1，从而造成误判。
- 解决方式：建立一个名单来存储可能会误判的元素
删除困难：一个放入容器的元素映射到bit数组的k个位置上是1，删除的时候不能简单的直接置为0，可能会影响其他元素的判断

Bloom Filter 实现

布隆过滤器有许多的实现与优化，这里我们介绍由Guava中提供的一种Bloom Filter来进行实现。

在使用布隆过滤器时，绕不开的两点是预估数据量n以及期望的误判率fpp

对应在实现的过程中就是hash函数的选取以及bit数组的大小。

对于一个确定的场景，我们要预估要存的数据量为n，期望的误判率为fpp，然后需要计算我们需要的Bit数组的大小m，以及hash函数的个数k，并选择hash函数

Bit数组大小选择

根据预估数据量n以及误判率fpp，bit数组大小即为：

哈希函数选择

根据预估数据量n以及bit数组的长度m，可以得到一个hash函数的个数k：

实现

首先需要引入guave包

<dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>23.0</version>
 </dependency>

下面就是我们测试的核心代码，主要分两步：

往过滤器中插入一百万个数，然后去验证这个一百万个数是否能通过过滤器
然后另外寻找一万个数，去检验漏网之鱼的数量

public class TestBloomFilter {

    private static int total = 1000000;
    private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total);
//    private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total, 0.001);

    public static void main(String[] args) {
        // 初始化1000000条数据到过滤器中
        for (int i = 0; i < total; i++) {
            bf.put(i);
        }

        // 匹配已在过滤器中的值，是否有匹配不上的
        for (int i = 0; i < total; i++) {
            if (!bf.mightContain(i)) {
                System.out.println("有的逃脱了");
            }
        }

        // 匹配不在过滤器中的10000个值，有多少匹配出来
        int count = 0;
        for (int i = total; i < total + 10000; i++) {
            if (bf.mightContain(i)) {
                count++;
            }
        }
        System.out.println("误伤的数量：" + count);
    }

}

结果：

通过运行结果我们可以得知，遍历这一百万个在过滤器中的数时，都被识别出来了，而一万个不在过滤器中的数中，有320个被识别成在过滤器中。误判率为三个百分点。

布隆过滤器create函数

通过上面的例子我们通过creat方法来创建过滤器，那我们就来看下create的源码：

 @VisibleForTesting
    static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp, BloomFilter.Strategy strategy) {
        Preconditions.checkNotNull(funnel);
        Preconditions.checkArgument(expectedInsertions >= 0L, "Expected insertions (%s) must be >= 0", expectedInsertions);
        Preconditions.checkArgument(fpp > 0.0D, "False positive probability (%s) must be > 0.0", fpp);
        Preconditions.checkArgument(fpp < 1.0D, "False positive probability (%s) must be < 1.0", fpp);
        Preconditions.checkNotNull(strategy);
        if (expectedInsertions == 0L) {
            expectedInsertions = 1L;
        }

        long numBits = optimalNumOfBits(expectedInsertions, fpp);
        int numHashFunctions = optimalNumOfHashFunctions(expectedInsertions, numBits);

        try {
            return new BloomFilter(new LockFreeBitArray(numBits), numHashFunctions, funnel, strategy);
        } catch (IllegalArgumentException var10) {
            throw new IllegalArgumentException("Could not create BloomFilter of " + numBits + " bits", var10);
        }
    }

虽然重载了四个create方法，但是最终都是走的第四个，其中每个参数的含义如下：