缓存穿透、缓存击穿、缓存雪崩区别和解决方案

一、缓存穿透

1、概念

缓存穿透是指查询一个一定不存在的数据,缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了。而且如果有人利用不存在的key频繁攻击我们的应用,这就是漏洞。

简而言之,缓存穿透就是指查询数据库和缓存都没有的数据。

2、解决方案

  1. 缓存空对象: 代码简单,效果不好

    从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防
    止攻击用户反复用同一个id暴力攻击

存在问题:
① 如果空值能够被缓存起来,这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多的空值的键;
②即使对空值设置了过期时间,还是会存在缓存层和存储层的数据会有一段时间窗口的不一致,这对于需要保持一致性的业务会有影响。

  1. 布隆过滤器: 代码复杂,效果较好

    如果想判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路. 但是随着集合中元素的增加,我们需要的存储空间越来越大,检索速度也越来越慢。不过世界上还有一种叫作散列表(又叫哈希表,Hash table)的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列(Bit Array)中的一个点。这样一来,我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是布隆过滤器的基本思想。

存在问题:
① 误算率(False Positive)。随着存入的元素数量增加,误算率随之增加。具体原理看下方链接
②一般情况下不能从布隆过滤器中删除元素. 我们很容易想到把位列阵变成整数数组,每插入一个元素相应的计数器加1,、这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面.、这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。
详解见:5分钟搞懂布隆过滤器

  1. 把恶意请求的IP拉黑
  2. 对参数的合法性进行校验,参数不合法直接return
    例如:接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;

二、缓存击穿

1、概念

数据库有数据,redis缓存中没有。此时并发用户极多,同时读取缓存但没有读到数据,然后有同时访问数据库,引起数据库压力瞬间增大,甚至宕机 。
或者说某个key在缓存中不存在或者失效后,某一瞬间大量请求同时访问该key,都判定redis没有这个key,然后都去查库,引起服务器宕机。

2、解决方案

  1. 设置热点数据用不过期或定时刷新缓存

  2. 缓存预热、定时刷新缓存:提前加载数据到缓存中

  3. 使用分布式锁

    //模拟高并发的访问:1000个线程进来
    public  R selectOrderById(Integer id) {
        if(!bloomFilter.isExist(String.valueOf(id))){
            return new R().setMsg("查询无果").setData(new NullValueResultDO()).setCode(600);
        }
        Object redisObj = valueOperations.get(String.valueOf(id));//查询缓存
        if(redisObj != null) {//命中缓存
            return new R().setCode(200).setData(redisObj).setMsg("OK");//正常返回数据
        }
        try {
                redisLock.lock(String.valueOf(id));//加锁 setnx
                redisObj = valueOperations.get(String.valueOf(id));//再次查询缓存
                if(redisObj != null) {//命中缓存
                    return new R().setCode(200).setData(redisObj).setMsg("OK");//正常返回数据
                }
                Order order = orderMapper.selectOrderById(id); //查数据库
                if (order != null) {
                    valueOperations.set(String.valueOf(id), order);  //加入缓存
                    return new R().setCode(200).setData(order).setMsg("OK");
                }
        }finally {
            redisLock.unlock(String.valueOf(id));//释放锁
        }
        return new R().setCode(500).setData(new NullValueResultDO()).setMsg("查询无果");
    }
    

三、缓存雪崩

1、概念

redis宕机或者redis缓存中数据大批量到过期时间,所有请求到达存储层,存储层的调用量会暴增,造成数据库也会挂掉的情况。
与缓存击穿不同的是,缓存击穿是指并发查询同一条数据。缓存雪崩时不同数据同时过期或者redis宕机,很多数据在redis中查不到,一起去查数据库引起的

2、解决方案

  1. 搭建redis集群
    就是多设几台redis,一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。

  2. 错开数据过期时间,如果出现雪崩,考虑使用降级熔断操作

  3. 设置热点数据永不过期

  4. 进行定时任务,在缓存失效前把数据重新刷新到缓存

  5. 如果缓存数据库时分布式部署,可以将热点数据均匀分布在不同的缓存数据库中

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
概要介绍: 本课程主要是介绍并实战一款java中间件~redisson,介绍redisson相关的核心技术栈及其典型的应用场景,其中的应用场景就包括布隆过滤器、限流器、短信发送、实时/定时邮件发送、数据字典、分布式服务调度等等,在业界号称是在java项目里正确使用redis的姿势。本课程的目标就在于带领各位小伙伴一起学习、攻克redisson,更好地巩固自己的核心竞争力,而至于跳槽涨薪,自然不在话下!  课程内容: 说起redisson,可能大伙儿不是很熟悉,但如果说起redis,想必肯定很多人都晓得。没错,这家伙字如其名,它就是架设在redis基础上的一款综合性的、新型的中间件,号称是java企业级应用开发中正确使用redis的姿势/客户端实例。 它是架设在redis基础之上,但拥有的功能却远远多于原生Redis 所提供的,比如分布式对象、分布式集合体系、分布式锁以及分布式服务调度等一系列具有分布式特性的对象实例… 而这些东西debug将在本门课程进行淋漓尽致的介绍并实战,除此之外,我们将基于spring boot2.0搭建的多模块项目实战典型的应用场景:对象存储、数据字典、短信发送、实时/定时邮件发送、布隆过滤器、限流组件、分布式服务调度....课程大纲如下所示: 下面罗列一下比较典型的核心技术栈及其实际业务场景的实战,如下图所示为redisson基于订阅-发布模式的核心技术~主题Topic的实际业务场景,即实时发送邮件: 而下图则是基于“多值映射MultiMap”数据结构实战实现的关于“数据字典”的缓存管理: 除此之外,我们还讲解了可以与分布式服务调度中间件dubbo相媲美的功能:分布式远程服务调度,在课程中我们动手搭建了两个项目,用于分别充当“生产者”与“消费者”角色,最终通过redisson的“服务调度组件”实现服务与服务之间、接口与接口之间的调用!  课程收益: (1)认识并掌握redisson为何物、常见的几种典型数据结构-分布式对象、集合、服务的应用及其典型应用场景的实战; (2)掌握如何基于spring boot2.0整合redisson搭建企业级多模块项目,并以此为奠基,实战企业级应用系统中常见的业务场景,巩固相应的技术栈! (3)站在项目管理与技术精进的角度,掌握对于给定的功能模块进行业务流程图的绘制、分析、模块划分、代码实战与性能测试和改进,提高编码能力与其他软实力; (4)对于Java微服务、分布式、springboot精进者而言,学完本课程,不仅可以巩固提高中间件的实战能力,其典型的应用场景更有助于面试、助力相关知识点的扫盲! 如下图所示: 关键字:Spring Boot,Redis,缓存穿透,缓存击穿,缓存雪崩,红包系统,Mybatis,高并发,多线程并发编程,发送邮件,列表List,集合Set,排行榜,有序集合SortedSet,哈希Hash ,进阶实战,面试,微服务、分布式 适用人群:redisson学习者,分布式中间件实战者,微服务学习者,java学习者,spring boot进阶实战者,redis进阶实战者
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值