缓存穿透，击穿！雪崩！解决方法！布隆过滤器应用

最新推荐文章于 2024-07-10 16:51:58 发布

一枚xzaza

最新推荐文章于 2024-07-10 16:51:58 发布

阅读量90

点赞数

文章标签：缓存 redis

本文链接：https://blog.csdn.net/2201_75364836/article/details/131749447

版权

缓存中常遇到的几个问题

缓存击穿：
某个热点key失效，大量请求数据库，数据库压力增大
解决方法：
加锁，加分布式锁
加分布式锁方法上一篇已经写过
分布式锁
缓存穿透：
数据库中根本不存在要查询的数据，就算查询了也是空值，放入缓存也是空值，高并发情况下，大量请求访问数据库，导致数据库压力过大，不存在的数据恶意大量访问导致服务器宕机。
解决方法
设置空值对象放入redis，设置过期时间因为大量未命中缓存的访问可能是随机，所以过期设置空值和过期时间也不太友好，所以在加上布隆布隆过滤器会更好
布隆过滤器的依赖已经在redisson中，所以你更应该看看分布式锁这篇文章
简单解释一下布隆过滤器
1.原理
把要查询的数据库表的id放到一个集合(容器)中
在查数据库之前判断该id是否在容器中存在
如果容器不存在说明数据库中也不存在反之亦然
2.用long类型存储数据在内存中
1字节=8位 long=8字节
1KB=1024字节
10亿条记录 10000000008/1024/1024=8GB
占用空间大
3.大空间问题
用位存储比字节存储占用更少的空间
10亿条记录 10000000003/8/1024/1024=357MB
布隆说有不一定有布隆说没有就一定没有。为什么这么说呢？
布隆过滤器底层为hasmp，一个id的可能占据多个位，1表示有，0表示没有，如果有一个为0，则这个数据就没有如图
在这里插入图片描述
蓝色的就是误判所以位越多越好。误判也就越小

布隆过期的的容错是越小越好像阿里云的oss镜像服务器可用性99.995%
这个值是随服务器部署越多小的

以下是代码演示

/**
 * 布隆过滤器的配置类
 */
@Configuration
public class BloomFilterConfig {
    @Autowired
    private RedissonClient redissonClient;
    @Bean
    public RBloomFilter skuBloomFilter(){
        RBloomFilter skuBloomFilter=redissonClient.getBloomFilter(RedisConst.BLOOM_SKU_ID);
        //设置布隆过滤器容器大小与容错
        skuBloomFilter.tryInit(10000,0.001);
        return skuBloomFilter;
    }
}```



@RestController
@RequestMapping("/init")
@Api(tags = "布隆过滤器初始化")
public class BloomController {
    @Autowired
    private SkuInfoService skuInfoService;
    @Autowired
    private RBloomFilter skuBloomFilter;

    //TODO 定时任务 同步数据库与布隆过滤器内容
    @GetMapping("/sku/bloom")
    @ApiOperation("放入商品id到布隆过滤器")
    public String skuBloom(){
        //删除原有布隆过滤器信息
        skuBloomFilter.delete();
        //设置布隆过滤器容器大小与容错
        skuBloomFilter.tryInit(10000,0.001);

        //1.查询数据库表里面所有的id
        QueryWrapper<SkuInfo> wrapper = new QueryWrapper<>();
        wrapper.select("id");
        List<SkuInfo> skuInfoList = skuInfoService.list(wrapper);
        for (SkuInfo skuInfo : skuInfoList) {
            Long skuId = skuInfo.getId();
            //把skuId放入布隆容器中
            skuBloomFilter.add(skuId);
        }
        return "success";
    }

}

通过本此初始化把id放入布隆过滤器
引入service

 private SkuInfo getSkuInfoFromRedis(Long skuId) {
        //减小锁的粒度
        String lockKey="lock-"+skuId;
        String cacheKey = RedisConst.SKUKEY_PREFIX + skuId + RedisConst.SKUKEY_SUFFIX;
        SkuInfo skuInfoRedis = (SkuInfo) redisTemplate.opsForValue().get(cacheKey);
        RLock lock = redissonClient.getLock(lockKey);
        if (skuInfoRedis == null) {
            try {
                lock.lock();
                boolean flag = rBloomFilter.contains(skuId);
             if (flag){
                 SkuInfo skuInfoDB = getSkuInfoFromDb(skuId);
                 //把数据放入redis
                 redisTemplate.opsForValue().set(cacheKey, skuInfoDB, RedisConst.SKUKEY_TIMEOUT, TimeUnit.SECONDS);
                 return skuInfoDB;
             }
            } finally {
                lock.unlock();
            }
        }
        return skuInfoRedis;


    }