20201102 布隆过滤器解决缓存穿透

最新推荐文章于 2024-07-31 11:08:13 发布

陈如水

最新推荐文章于 2024-07-31 11:08:13 发布

阅读量177

点赞数

分类专栏： Redis 文章标签：缓存穿透布隆过滤器 BloomFilter

本文链接：https://blog.csdn.net/chenrushui/article/details/109448641

版权

Redis 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

不同数据类型的布隆过滤器： Integer,Long等

两个步骤：

1）将数据放入bloom filter中；

2）判断数据是否已在bloom filter中；

基于url级别的权限判断，判断访问权限是否存在可用此方案解决, ip黑名单；

字节数组，元素是0或者1.

添加元素的时候，判断元素是否存在的时候。

错误率越大，所需空间和时间越小，错误率越小，所需空间和时间约大(可以自己定义错误率)。

它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit array）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了。这就是布隆过滤器的基本思想。

判断元素在不在一个集合里面，如果集合里面的元素非常大，这个判断过程是非常耗时的，而且集合占用空间也很大。

布隆过滤器存储空间和插入/查询时间都是常数。Hash函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。

package com.demo.www.springbootdemo.crs.bloomfilter;

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

/**
 * 测试布隆过滤器
 */
public class TestBloomFilter {
    
    //定义布隆过滤器的长度
    private static int total = 1000000;
    //创建布隆过滤器
    private static BloomFilter bloomFilter = BloomFilter.create(Funnels.integerFunnel(), total,0.0003);

    private static int index = 0;
    private static int count = 0;
    public static void main(String[] args) {
        for (int i = 0; i < total; i++) {
            //将数据添加到过滤器中
            bloomFilter.put(i);
        }

        //判断数据是否存在？
        for (int i = 0; i < total; i++) {
            if (!bloomFilter.mightContain(i)) {
                index++;
                System.out.println("有数据没检测到" + i);
            }
        }
        System.out.println("是否能够识别过滤器中数据："+index);
        //数据全部存在
        //测试另外的10000数据，看看过滤器的误杀情况？现在是都不存在与过滤器中。

        for (int i = total; i < total+10000; i++) {
            if ( bloomFilter.mightContain(i)){
                count++;
            }
        }
        System.out.println("误判的数据量"+count);  //286个数据，本来不存在，但是确判定存在了。

        //1，遍历这一百万个在过滤器中的数时，都被识别出来了。
        //2，一万个不在过滤器中的数，误伤了320个，错误率是0.03左右。

        //某个判断的执行时间
        long startTime = System.nanoTime(); // 获取开始时间
        //判断这一百万个数中是否包含29999这个数
        if (bloomFilter.mightContain(29999)) {
            System.out.println("命中了");
        }
        long endTime = System.nanoTime();   // 获取结束时间
        System.out.println("程序运行时间： " + (endTime - startTime) + "纳秒");
        //结果是1毫秒都不到即可判断出是否存在，所占用的空间也比较小。
    }
}

错误率，所占用内存空间，执行hash的次数：