1. 缓存穿透
是指查询一个根本不存在的数据,缓存层和存储层都不会命中,如果从存储层查不到数据则不写入缓存层。
缓存穿透将导致不存在的数据每次请求都要到存储层去查询,失去了缓存保护后端存储的意义。缓存穿透问题可能会使后端存储负载加大,由于很多后端存储不具备高并发性,甚至可能造成后端存储宕掉。
通常可以在程序中分别统计总调用数、缓存层命中数、存储层命中数,如果发现大量存储层空命中,可能就是出现了缓存穿透问题。
1.1 原因分析
造成缓存穿透的基本原因有两个:
1、自身业务代码或者数据出现问题
比如,我们数据库的 id 都是 1 开始自增上去的,如发起为 id 值为 -1 的数据或 id 为特别大不存在的数据。如果不对参数做校验,数据库 id 都是大于 0 的,我一直用小于 0 的参数去请求,每次都能绕开 Redis 直接打到数据库,此时数据库也查不到,每次都这样,并发高点就容易崩掉了。
2、恶意攻击、爬虫等造成大量空命中
1.2 解决方案
对于缓存穿透的解决可以从以下几个方面入手:
1、增加校验
如用户鉴权校验,id 做基础校验,id<=0 的直接拦截;
2、缓存空对象
既然本来都是不存在的数据,那就把空对象保留到缓存层中,之后再访问这个数据将会从缓存中获取,这样就保护了后端数据源。
但是这样会存在 2 个问题:
- 空值做了缓存,意味着缓存层中存了更多的键,需要更多的内存空间(如果是攻击,问题更严重),比较有效的方法是针对这类数据设置一个较短的过期时间,让其自动剔除。
- 缓存层和存储层的数据会有一段时间窗口的不一致,可能会对业务有一定影响。例如过期时间设置为 5 分钟,如果此时存储层添加了这个数据,那此段时间就会出现缓存层和存储层数据的不一致,此时可以利用数据一致性方案处理。
3、布隆过滤器
在访问缓存层和存储层之前,将存在的 key 用布隆过滤器提前保存起来,做第一层拦截。
例如:一个推荐系统有 4 亿个用户 id,每个小时算法工程师会根据每个用户之