Redis缓存异常场景

Redis缓存异常场景

缓存雪崩

• 缓存雪崩
  • 缓存雪崩是指缓存同一时间大面积的失效，所以后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉
  • 解决方案
    • 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生
    • 一般并发量不是特别多的时候，使用最多的解决方案就是加锁排队
    • 给每一个缓存数据增加相应的缓存标记，记录缓存的是否失效，如果缓存标记失效，就更新数据缓存

缓存穿透

• 缓存穿透是指缓存和数据库中都没有的数据，导致所有的请求都落到数据库上，造成数据库短时间内承受大量的请求而崩掉
• 解决方案
  • 接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截掉
  • 从缓存取不到的数据，在数据库也没有取到，这时可以将对应的key的值设置为空，缓存有效时间可以短点，比如30s，如果设置太长会导致正常情况也无法使用。这样可以防止攻击用户反复用同一个id暴力攻击
  • 采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层村塾系统的查询压力

缓存击穿

• 缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期)，这时由于并发用户特别多，同时读缓存没有读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力。和缓存雪崩不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而去查数据库
• 解决方案
  • 设置热点数据永远不过期
  • 加互斥锁

缓存预热

• 缓存预热是指系统上线后，将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题，用户直接查询实现被预热的缓存数据即可
• 解决方案
  • 直接写个缓存刷新页面，上线时手工操作一下
  • 数据量不大，可以在项目启动的时候自动进行加载
  • 定时刷新缓存

缓存降级

• 当访问量剧增，服务出现问题(比如响应时间慢或不响应)或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据进行自动降级，也可以配置开关实现人工降级

• 缓存降级的最终目的是保证核心服务客用户，即使是有损的。而且有些服务是无法降级的(比如加入购物车，结算)

• 在进行降级之前对系统进行梳理，看看系统是不是可以丢卒保帅，从而梳理出哪些必须誓死保护，哪些可以降级，比如可以参考日志级别设置预案

  • 一般: 比如有些服务偶尔因为网络抖动或者服务正在上线而超时，可以自动降级
  • 警告：有些服务在一段时间内成功率有波动(如在95~100%之间)，可以自动降级或人工降级，并发送告警
  • 错误: 比如可用于低于90%，或者数据库连接池被打爆了，或者访问量突然猛增到系统能承受的最大阈值，此时可以根据情况自动降级或者人工降级
  • 严重错误: 比如因为特殊原因数据错误了，此时需要紧急人工降级

• 服务降级的目的是为了防止Redis服务故障，导致数据库跟着一起发生雪崩问题。因此对于不重要的缓存数据，可以采取服务降级策略，例如一个比较常见的做法就是Redis出现问题，不去数据库查询，而是直接返回默认值给用户

• 热点数据和冷数据

  • 热点数据，缓存才有价值
  • 对于冷数据而言，大部分数据可能还没有再次访问到就已经被挤出内存，不仅占用内存，而且价值不大。频繁修改的数据，看情况考虑使用缓存
  • 对于热点数据，比如某导航信息，某产品，缓存以后可能读取数百万次
  • 数据更新前至少读取两次，缓存才有意义，这样是最基本的策略，如果缓存还没有起作用就失效了，那就没有太大价值了
  • 那存不存在，修改频率很高，但是又不得不考虑缓存的场景呢？ 有，比如这个读取接口对数据库的压力很大，但是又是热点数据，这个时候需要考虑通过缓存手段，减少数据库的压力，比如我们的某助手产品，点赞数，收藏数，分享数等是非常典型的热点数据，但是又不断变化，此时就需要将数据同步保存到Redis缓存，减少数据库压力

• 缓存热点key

  • 缓存中的一个key，比如一个促销商品，在某个时间点过期的时候，恰好在这个时间点对这个key有大量的并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设置到缓存，这个时候大并发的请求会瞬间把后端DB压垮
  • 解决方案
    • 对缓存查询加锁，如果key不存就加锁，然后查DB入缓存，然后解锁，其他进程如果发现有锁就等待，然后等解锁后返回数据或者进入DB查询

总结

• 缓存击穿：单个key过期，恰好大量请求访问这个key，然后穿过缓存落到了数据库

  • 设置热点数据永不过期

  • 使用互斥锁排队

• 缓存雪崩：大量key同时失效，或者其他原因导致缓存不可用了，大量请求落到数据库

  • 缓存过期时间设置随机
  • 一般并发量不多时，使用互斥锁排队
  • 给缓存加标记，如果失效及时更新

• 缓存穿透：缓存和数据库中都没有数据，穿过缓存全部落到数据库

  • 缓存空对象
  • 布隆过滤器
  • 网关校验拦截

• 缓存预热：系统上线后，将相关缓存数据直接加载到缓存系统，这样可以避免用户直接先请求数据库，然后再将数据传给缓存的操作

  • 数据量不大的时候，项目启动时自动进行加载
  • 数据量大的时候，设置个定时任务脚本，进行缓存的刷新
  • 数据量太大的时候，写个缓存刷新页面，上线时手动操作

• 缓存降级：降级的情况，就是缓存失效或者缓存服务挂掉的情况，我们也不去访问数据库，直接访问内存部分数据缓存或者直接返回默认数据