在网上看到一篇文章,关于redis的一道面试题,题目是“什么是redis的雪崩、穿透和击穿?redis崩溃之后会怎么样?”
https://zhuanlan.zhihu.com/p/74880843
以上是作者的源地址
面试的过程中,可能会遇到缓存的问题,缓存雪崩和穿透,是缓存最大的两个问题,要么不出现,一旦出现就是致命性的问题,所以面试官一定会问你。
缓存雪崩
对于系统A,假设每天高峰期每秒5000个请求,本来缓存在高峰期可以扛住每秒4000个请求,但是缓存机器意外发生了全盘宕机或者大量的key同时过期。缓存挂了,此时1秒5000个请求全部直接访问数据库,数据库必然扛不住,它会报一下警,然后挂掉了。此时,如果没有采用什么特别的方案来处理这个故障,DBA很着急,重启数据库,但是数据库立马又会被新的流量直接打死。
这就是缓存雪崩。
缓存雪崩的事前事中事后的解决方案如下:
- 事情:redis高可用,主从 + 哨兵,redis cluster,避免全盘崩溃。
- 事中:本地ehcache 缓存 + hystrix限流和降级,避免MySQL被打死。
- 事后:redis持久化,一旦重启,自动从磁盘上加载数据,快速恢复缓存数据。
用户发送一个请求,系统A收到请求后,先查本地ehcache缓存,如果没查到在查redis。如果ehcache和redis都没有,再查数据库,将数据库中的结果,写入ehcache和redis。
限流组件,可以设置每秒的请求,有多少能通过组件。剩余未通过的请求,怎么办?走降级,可以返回一些默认值,或者友情提示,或者空白的值。
好处:数据库不会死,限流组件确保了每秒只有多少个请求能通过。只要数据库不死,对用户来说,2/5的请求都是可以被处理的。只要有2/5的请求可以被处理,就意味着你的系统没死,对用户来说,可能就是点击几次刷不出来页面,但是多点几次,就可以刷出来一次。
缓存穿透
对于系统A,假设一秒5000个请求,结果其中4000个请求是黑客发出的恶意攻击。
黑客发出的那4000个攻击,缓存中查不到,每次你去数据库查,也查不到。
举个例子。数据库id是从1开始自增的,结果黑客发过来的请求id全部都是负数。这样的话,缓存中不会有,请求每次都“视缓存于无物”,直接查询数据库。这种恶意攻击场景的缓存穿透就会直接把数据库打死。
解决方式很简单,每次系统A从数据库中只要没查到,就写一个空值到缓存里,比如set key null,然后设置一个过期时间,这样的话,下次有相同的key来访问的时候,在缓存失效之前,都可以直接从缓存中取数据。也可以对id<1的请求进行拦截。
业界比价普遍的一种做法,即根据key获取value值为空时,锁上,从数据库中load数据后再释放锁。若其它线程获取锁失败,则等待一段时间后重试。这里要注意,分布式环境中要使用分布式锁,单机的话用普通的锁(synchronized、Lock)就够了。
public String getWithLock(String key, Jedis jedis, String lockKey, String uniqueId, long expireTime) {
String value = redisService.get(key);
if (StringUtil.isEmpty(value)) {
try {
boolean locked = redisService.tryDistributedLock(jedis, lockKey, uniqueId, expireTime);
if (locked) {
value = userService.getById(key);
redisService.set(key, value);
redisService.del(lockKey);
return value;
} else {
// 其它线程进来了没获取到锁便等待50ms后重试
Thread.sleep(50);
getWithLock(key, jedis, lockKey, uniqueId, expireTime);
}
} catch (Exception e) {
log.error("getWithLock exception=" + e);
return value;
} finally {
redisService.releaseDistributedLock(jedis, lockKey, uniqueId);
}
}
return value;
}
以上代码出自:https://blog.csdn.net/fanrenxiang/article/details/80542580
缓存击穿
缓存击穿,就是说某个key非常热点,访问非常频繁,处于集中式高并发访问的情况,当这个key在失效的瞬间,大量的请求就会击穿了缓存,直接请求数据库,就像是在一道屏障上凿开了一个洞。
解决方式也很简单,可以将热点数据设置未永远不过期;或者基于redis or zookeeper实现互斥锁,等待第一个请求构建完缓存之后,再释放锁,进而其他请求才能通过该key访问数据。