探讨缓存技术中的几大问题及其预防措施

最新推荐文章于 2024-09-22 20:52:17 发布

大树叶

最新推荐文章于 2024-09-22 20:52:17 发布

阅读量196

点赞数

分类专栏：缓存文章标签：缓存

本文链接：https://blog.csdn.net/bigtree_3721/article/details/114904407

版权

缓存专栏收录该内容

4 篇文章 0 订阅

订阅专栏

我们知道，缓存使用中有常见的三大问题：1.缓存穿透，2.缓存击穿，3.缓存雪崩，本文总结列出常见的解决方案，以供参考。

缓存穿透

缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写，并且处于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。缓存穿透意味着当用户查询数据库不存在数据时，返回的结果为空，并且结果不会在缓存中存储。假设用户不断发起这样的请求，它将永远不会访问缓存，导致所有查询都落在数据库上，从而导致数据库被压死。

例子:

public Object getProducts(Long goodsId) {
     //从 Redis 获取 goods 信息
    Object goodsInfo = redisTemplate.opsForValue()
                .get(String.valueOf(goodsId));
        if (goodsInfo != null) { 
            return goodsInfo;
        }
 
    //从数据库查询 products 信息，并存入 Redis
    goodsInfo = goodsDao.selectByGoodsId(goodsId);
        if (goodsInfo != null) { 
        redisTemplate.opsForValue()
                .set(String.valueOf(goodsId), goodsInfo);
        }
    return goodsInfo;
}

假设 goodsId 没有负数情况，如果发起一个参数 goodsId = -1 的请求，这个数据在缓存中肯定不会存在，每次它都会进入查询数据库，并且数据查询结果也是 null，并且不会缓存结果到 Redis。

解决方案

1）通过用户认证、参数验证等，在上层拦截这些不合理的请求；还有使用布隆过滤器拦截。

BloomFilter 类似于一个hbase set 用来判断某个元素（key）是否存在于某个集合中。这种方式在大数据场景应用比较多，比如 Hbase 中使用它去判断数据是否在磁盘上。还有在爬虫场景判断url 是否已经被爬取过。这种方案可以加在第一种方案中，在缓存之前在加一层 BloomFilter ，在查询的时候先去 BloomFilter 去查询 key 是否存在，如果不存在就直接返回，存在再走查缓存 -> 查 DB，流程如下。

2）当数据库查询结果为空时，数据也被缓存，但缓存有效期设置较短，以免影响正常数据的缓存。

public Object getGoods(Long goodsId) {
 
    //从 Redis 获取 goods 信息
    Object goodsInfo = redisTemplate.opsForValue()
            .get(String.valueOf(goodsId));
    if (goodsInfo != null) { 
        return goodsInfo;
    }
 
    //从数据库查询 goods 信息，并存入 Redis
    goodsInfo = goodsDao.selectByGoodsId(goodsId);
         if (goodsInfo != null) { 
            redisTemplate.opsForValue()
                .set(String.valueOf(goodsId), goodsInfo
                    , 60, TimeUnit.MINUTES);
         } else { //查询为 null 同样存储
            redisTemplate.opsForValue()
                .set(String.valueOf(goodsId), null, 60, 
                    TimeUnit.SECONDS);
    }
    return goodsInfo;
}

方案讨论

针对于一些恶意攻击，攻击带过来的大量key 是不存在的，那么我们采用第一种方案就会缓存大量不存在key的数据。此时我们采用第一种方案就不合适了，我们完全可以先对使用第二种方案进行过滤掉这些key。针对这种key异常多、请求重复率比较低的数据，我们就没有必要进行缓存，使用第二种方案直接过滤掉。而对于空数据的key有限的，重复率比较高的，我们则可以采用第一种方式进行缓存。

2. 缓存击穿

缓存击穿是我们可能遇到的第二个使用缓存方案可能遇到的问题。在平常高并发的系统中，大量的请求同时查询一个 key 时，此时这个key正好失效了，就会导致大量的请求都打到数据库上面去。这种现象我们称为缓存击穿。对于一些设置了过期时间的key，如果这些key可能在某些时间点被超高并发地访问，是一种非常“热点”的数据。

缓存在某个点过期的时候，恰好在这个时间点对这个key有大量的并发请求过来，这些请求发现缓存过期一般都会从后端加载数据并回设到缓存，这个时候大并发的请求可能瞬间把后端DB压垮。