一、什么是缓存穿透、雪崩、击穿
1、缓存穿透:
是指用户查询的数据,在数据库没有,自然在缓存中也不会有。每次查询时,都要查询一次缓存,再查询一次数据库,缓存命中率极低。
2、缓存雪崩:
某一批数据的缓存过期时间设置的过于集中,大量缓存集中失效,这时如果有大量并发请求来到,redis查不到,全都去查数据库,也会给数据库很大的压力,这种场景就是缓存雪崩。
3、缓存击穿:
对于某个热key而言,在高并发访问下,在这个key失效的瞬间,大量的请求进来,就会击穿缓存,直达数据库,这种场景就叫缓存击穿;可以看做是缓存雪崩的一种特定场景。
三者出现的根本原因都是:
Redis缓存命中率下降,请求直接打到DB上了。
通常来讲,一个Redis实例可以支持数万级别的请求处理吞吐量,而单个数据库可能只能支持数千级别的请求处理吞吐量;所以如果大量高并发请求打在DB上,会导致数据库cpu和内存造成巨大压力;严重的会造成数据库宕机,从而引发一系列连锁反应,造成整个系统崩溃。
二,对应解决方案
2.1、缓存穿透
产生的原因:请求不存在的资源
解决方案有两个方向,一个是给空值也添加缓存,一个是进行拦截,目的都是减少访问数据库的次数;
1、对空值进行缓存
虽然数据库中没有对应的数据,但是在redis中对他进行缓存,值设为null,这样当下次请求到达redis的时候,就会直接返回一个null值给客户端,避免大量无法访问的数据直接打在DB上。
2、对redis进行实时监控
当发现redis中的命中率下降的时候,进行原因排查,进行黑名单的设置等限制。
3、使用布隆过滤器
使用BitMap作为布隆过滤器,将目前所有可以访问到的资源通过简单的映射关系放入到布隆过滤器中(哈希计算),当一个请求来临的时候,先进行布隆过滤器的判断,如果有才放行,否则就直接拦截。
4、接口校验
类似于用户权限的拦截,对请求中的无效访问进行拦截,不允许这些请求到达Redis及数据库上。
2.2、缓存雪崩
产生的原因:redis中大量的key集体过期
解决方式:
1、将失效时间分散开
给每批数据设置过期时间时,给这批数据的过期时间增加一个较小的随机数(例如:随机增加1-3分钟)。
2、使用多级架构
使用nginx缓存+redis缓存+其他缓存,不同层使用不同的缓存,可靠性更强。
3、设置缓存标记
记录缓存数据是否过期,如果过期会触发通知另外的线程在后台去更新实际的key。
4、使用锁或者队列的方式
如果查不到就加上排它锁,其他请求只能进行等待。
2.3、缓存击穿
产生的原因:redis中的某个热点key过期,但是此时有大量的请求访问该过期key。
可以看成缓存雪崩的一个特殊子集。
解决方式:
1、提前对热点数据进行设置
类似于新闻、某博等软件都需要对热点数据进行预先设置在redis中
2、监控数据,适时调整
监控哪些数据是热门数据,实时的调整key的过期时长
3、使用互斥锁
只有一个请求可以获取到互斥锁,然后到DB中将数据查询并返回到Redis,之后所有请求就可以从Redis中得到响应。缺点:所有线程的请求需要一同等待。
4、提前使用互斥锁/逻辑过期
在value内部设置一个比缓存(redis)过期时间短的过期时间标识,当异步线程发现该值快过期时,马上延长内置的这个时间,并重新从数据库加载数据,设置到缓存中去。缺点:不保证一致性,实现相较互斥锁更复杂。