今天一定要搞清楚缓存的穿透、击穿和雪崩

最新推荐文章于 2024-04-06 09:39:44 发布

肥肥技术宅

最新推荐文章于 2024-04-06 09:39:44 发布

阅读量169

点赞数

分类专栏： java 文章标签：缓存 redis java

本文链接：https://blog.csdn.net/m0_71777195/article/details/130422240

版权

缓存穿透是指查询一个不存在的数据，增加数据库负担，解决方案包括将查询不到的数据也缓存并设置短过期时间，或使用布隆过滤器过滤无效请求。布隆过滤器由二进制数组和哈希函数组成，能判断元素可能是否存在，但有误算率。缓存击穿是热点数据过期导致大量请求数据库，可使用互斥锁或分布式锁解决。缓存雪崩是大量缓存同时失效，可通过缓存预加载、限流、数据预热等方式缓解。

摘要由CSDN通过智能技术生成

什么是缓存穿透？

缓存的穿透是指当查询一个不存在的数据时，由于缓存中没有该数据，导致查询透过缓存直接查数据库，从而增加数据库的负担。通常解决缓存穿透的方法是对于查询不到的数据也将其缓存起来，并设置一个较短的过期时间。

缓存穿透的解决方案

一、Redis缓存穿透可以通过将查询不到的数据也加入缓存，并设置一个较短的过期时间来解决。

二、还可以使用布隆过滤器来过滤掉查询不存在数据的请求，从而避免直接透过缓存查询数据库。

什么是布隆过滤器呢？

布隆过滤器实际上是由一个超长的二进制位数组和一系列的哈希函数组成。二进制位数组初始全部为0，当给定一个待查询的元素时，这个元素会被一系列哈希函数计算映射出一系列的值，所有的值在位数组的偏移量处置为1。

因此，布隆过滤器只会判断某个元素可能存在，而不是肯定存在。如果需要更高的准确性，可以选择使用精确匹配的算法，如哈希表等。但是，相对于布隆过滤器，这些算法需要更多的内存和计算资源。

在实际应用中，布隆过滤器一般用于快速判断某个元素是否存在于某个集合中，比如在缓存系统中过滤掉不存在的数据请求，避免直接透过缓存查询数据库。

Redis布隆过滤器的实现可以使用Redis的位图数据结构。在Redis中，位图是由一系列二进制位组成的数据结构，它可以用来表示某个元素是否存在于某个集合中。

缺点：

布隆过滤器的缺点和优点一样明显。误算率是其中之一。随着存入的元素数量增加，误算率随之增加。但是如果元素数量太少，则使用散列表足矣。

另外，一般情况下不能从布隆过滤器中删除元素。我们很容易想到把位数组变成整数数组，每插入一个元素相应的计数器加 1, 这样删除元素时将计数器减掉就可以了。然而要保证安全地删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面。这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。

自己造个轮子，布隆过滤器模拟实现

public class MyBloomFilter {

    /**
     * 一个长度为10 亿的比特位
     */
    private static final int DEFAULT_SIZE = 256 << 22;

    /**
     * 为了降低错误率，使用加法hash算法，所以定义一个8个元素的质数数组
     */
    private static final int[] seeds = {3, 5, 7, 11, 13, 31, 37, 61};

    /**
     * 相当于构建 8 个不同的hash算法
     */
    private static HashFunction[] functions = new HashFunction[seeds.length];

    /**
     * 初始化布隆过滤器的 bitmap
     */
    private static BitSet bitset = new BitSet(DEFAULT_SIZE);

    /**
     * 添加数据
     *
     * @param value 需要加入的值
     */
    public static void add(String value) {
        if (value != null) {
            for (HashFunction f : functions) {
                //计算 hash 值并修改 bitmap 中相应位置为 true
                bitset.set(f.hash(value), true);
            }
        }
    }

    /**
     * 判断相应元素是否存在
     * @param value 需要判断的元素
     * @return 结果
     */