redis缓存雪崩、击穿、穿透

缓存雪崩

原因

1. 在一个较短的时间内，缓存中较多的key集中过期
2. 此周期内请求访问过期的数据，redis未命中，redis向数据库获取数据
3. 数据库同时接收到大量的请求无法及时处理
4. redis大量请求被积压，开始出现超时现象
5. 数据库流量激增，数据库崩溃
6. 重启后仍然面对缓存中无数据可用
7. redis服务器资源被严重占用，redis服务器崩溃
8. redis集群呈现崩塌，集群瓦解
9. 应用服务器无法得到数据响应请求，来自客户端的请求数量越来越多，应用服务器崩溃
10. 应用服务器，redis，数据库全部重启，效果不理想

解决方案（道）

1. 更多的页面静态化处理

2. 构建多级缓存架构

   nginx缓存+redis缓存+ehcache缓存

3. 检测mysql严重耗时业务进行优化

   对数据库的瓶颈查询：例如超时查询、耗时较高事务等

4. 灾难预警机制

   监控redis服务器指标性能

   • cpu占用、cpu使用
   • 内存容量
   • 查询平均响应时间
   • 线程数

5. 限流、降级

   ​ 短时间内牺牲一些客户体验，限制一部分请求访问，降低应用服务器压力，待业务低速运转后再逐步放开访问

解决方案(术)

1. LRU与LFU切换

2. 数据有效期策略调整

   • 根据业务数据有效期进行分类错峰，a类90分钟，b类80分钟，c类70分钟
   • 过期时间使用固定时间+随机值的形式，稀释集中到期的key的数量

3. 超热数据使用永久key

4. 定期维护(自动+人工)

   对即将过期数据做访问量分析

总结

缓存雪崩就是瞬间过期数据量太大，导致对数据库服务器造成压力。如果能够有效避免过期时间集中，可以有效解决雪崩现象的出现，配合其他策略一起使用，并监控服务器的运行数据，根据运行记录做快速调整

缓存击穿

1. 系统平稳运行过程中
2. 数据库连接量瞬间激增
3. redis服务器无大量key过期
4. redis内存平稳，无波动
5. redis服务器cpu正常
6. 数据库崩溃

问题排查

1. redis中某个key过期，该key访问量巨大
2. 多个数据请求从服务器直接压到redis后，均为命中
3. redis在短时间内发起了大量对数据库的统一数据的访问

问题分析

1. 单个key高热数据
2. key过期

解决方案(术)

1. 预先设定

   以电商为例，每个商家根据店铺等级，指定若干款主打产品，在购物节期间，加大此类信息key的过期时长

   购物节不仅仅指当天，以及后续若干天，访问值呈现逐渐降低的趋势

2. 现场调整

   监控访问量，对自然流量激增的数据延长过期时间或者设置永久key

3. 后台刷新数据

   启动定时任务，高峰期来临之前，刷新数据有效期，确保不丢失

4. 二级缓存

   设置不同的失效时间，保障不会同时淘汰就行

总结

缓存击穿就是单个高热数据过期的瞬间，数据访问量较大，未命中redis，发起了大量对同一数据的数据库访问，导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行，配合运行监控与及时调整策略，毕竟单个key的过期监控难度较高，配合雪崩处理策略即可

缓存穿透

1. 系统平稳运行过程中
2. 应用服务器流量随着时间增量较大
3. redis服务器命中率随着时间逐步降低
4. redis内存平稳，内存无压力
5. redis服务器cpu占用激增
6. 数据库服务器压力激增
7. 数据库崩溃

问题排查

1. redis中大面积出现未命中
2. 出现非正常url访问

问题分析

• 获取的数据在数据库不存在，数据库查询未得到对应数据
• redis获取到null数据未进行持久化，直接返回
• 下次此类数据到达重复上述过程
• 出现黑客攻击服务器

解决方案(术)

1. 缓存null

   对查询结果为null的数据进行缓存(长期使用，定期清理)，设置短时限，例如30-60秒，最高5分钟

2. 白名单策略

3. 实施监控

   实时监控redis命中率(业务正常范围时，通常会有一个波动值)与null数据的占比

   • 非活动时段波动：通常检测3-5倍，超过5倍纳入重点排查对象
   • 活动时段波动：通常检测10-50倍，超过50倍纳入重点排查对象

   根据倍数不同，启动不同的排查流程。然后使用黑名单进行防控

4. key加密

   问题出现后，临时启动防灾业务key，对key进行业务层传输加密服务，设定校验程序，过来的key校验

   例如每天随机分配60个加密串，挑选2到3个，混淆到页面数据id中，发现访问key不满足规则，驳回数据访问

总结

缓存击穿访问了不存在的数据，跳过了合法数据的redis数据缓存阶段，每次访问数据库，导致对数据库服务器造成压力，通常此类数据的出现量是一个较低的值，当出现此类情况需要以毒攻毒，并及时报警，应对策略应该在预防方面多做文章

无论黑名单还是白名单都是对整体系统的压力，警报解除后应该尽快移除

可以使用布隆过滤器来解决缓存穿透问题

布隆过滤器就是一个判断数据存不存在的二进制数组

用0、1来表示数据存不存在
结构概览

优点

• 增加和查询元素的时间复杂度为:O（k）k为哈希函数的个数，时间复杂度与数据量大小无关
• 布隆过滤器不存储数据本身
• 哈希函数本身没有关系，方便硬件进行计算

缺点

• 很难去做删除操作，布隆过滤器去做增加操作的时候，会使用多个哈希函数去计算出多个数组下标，不同的数据可能存在相同的数组下标，去做删除操作时，一个数据的删除可能会引起多个数据的失效
• 可能会存在误判操作，经过一系列的哈希运算，可能有些数据是不存在于二进制集合中的，但是其hash值与其他相重复，进而判断出，该数据是存在的，即出现了误判操作

误判率

在使用布隆过滤器api时，有个参数会让我们去设置误判率，当然这个参数的设置会对结果的误判率有影响的，结果的误判率是趋近于这个值的，但是这个值并不是设置的越少越好，这个值无限趋近于0的话，是会使我们的误判数趋近于0，但伴随的是复杂的计算(误判率越低，需要的hash函数越多)，会影响系统的性能，具体设置的数，应根据业务需要合理进行设置

怎么解决redis缓存穿透

布隆过滤器就是判断数据存不存在于这个集合之中，

针对恶意的key进行数据的查询的时候，如果redis中没有命中，且布隆过滤器中查询该值不存在，就直接返回null，不在去走数据库，防止恶意请求的大量涌入