6.缓存
6.1缓存更新方式
这是决定在使用缓存时就该考虑的问题。
• 设置缓存数据的TTL,当缓存数据失效后,如果有系统要请求,则会查询数据库并插入缓存(被动更新) 不友好
• 在各类会往mysql写入数据的系统中,植入更新缓存的逻辑(判断哪些表的数据是热点数据,那么就可以在这些表数据的更新操作逻辑中植入缓存刷新逻辑)
(严重弊端:将缓存更新逻辑与系统的业务逻辑高度耦合)后期维护很麻烦
• 异步更新:开发一个异步任务,定期从mysql数据库中读取“热门表”的数据更新缓存(时效性低)
• 利用canal监听mysql的binlog写入kafka,开发一个更新程序,消费kafka中的binlog信息,并根据“热度方案”进行缓存数据的更新;
(时效性强!对业务系统的mysql数据库几乎不带来任何压力!跟业务系统完全没有耦合,修改扩展维护都很方便)
6.2数据不一致
第二个问题是数据不一致的问题,可以说只要使用缓存,就要考虑如何面对这个问题。缓存不一致产生的原因一般是主动更新失败,例如更新 DB 后,更新 Redis 因为网络原因请求超时;或者是异步更新失败导致。
解决的办法是,如果服务对耗时不是特别敏感可以增加重试;如果服务对耗时敏感可以通过异步补偿任务来处理失败的更新,或者短期的数据不一致不会影响业务,那么只要下次更新时可以成功,能保证最终一致性就可以。
6.3 缓存穿透
有人、系统,频繁查询数据库中不存在的数据;那么,缓存相当于不存在!
产生这个问题的原因可·能是外部的恶意攻击,例如,对用户信息进行了缓存,但恶意攻击者使用不存在的用户id频繁请求接口,导致查询缓存不命中,然后穿透 DB 查询依然不命中。这时会有大量请求穿透缓存访问到 DB。
解决的办法如下。
对不存在的数据,在缓存中保存一个空对象进行标记,防止相同 ID 再次访问 DB。不过有时这个方法并不能很好解决问题,可能导致缓存中存储大量无用数据。
使用 BloomFilter 过滤器,BloomFilter 的特点是存在性检测,如果 BloomFilter 中不存在,那么数据一定不存在;如果 BloomFilter 中存在,实际数据也有可能会不存在。非常适合解决这类的问题
6.4 缓存击穿
就是某个热点数据失效时,大量针对这个数据的同时请求会穿透到数据源。
解决这个问题有如下办法。
可以使用互斥锁更新,保证同一个进程中的多个线程针对同一个数据不会并发请求到 DB,减小 DB 压力。但是查询的效率相对会低很多
使用随机退避方式,失效时随机 sleep一个很短的时间,再次查询,如果失败再查询mysql并更新redis。
6.5 缓存雪崩
缓存雪崩,产生的原因是缓存挂掉,这时所有的请求都会穿透到 DB。
解决方法:使用主从模式和集群模式来尽量保证缓存服务的高可用。
针对多个热点 key 同时失效的问题,可以在缓存时使用固定时间加上一个小的随机数,避免大量热点 key 同一时刻失效。
6.6 缓存淘汰机制
TTL删除策略
可以为数据设置TTL(存活时长),时长一到,数据就会被删除
缓存数据TTL的删除策略可分为三种
• 定时删除(对内存友好,对CPU不友好)
到时间点上就把所有过期的键删除了。
• 惰性删除(对CPU极度友好,对内存极度不友好)
每次取键的时候,判断一下该键是否过期了,如果过期了就删除。
• 定期删除(折中)
每隔一段时间去检查及删除过期键,限制删除的执行时长和频率。
Redis的过期数据的删除策略:采用的是惰性删除+定期删除两种策略。所以说,在Redis里边如果过期键到了过期的时间了,未必被立马删除的!
LRU(least recently used)淘汰策略
Redis可以设置内存最大使用量,当内存使用量超出阈值时,会执行数据淘汰策略。
Redis的内存数据淘汰机制有以下几种:
策略 描述
volatile-lru 从已设置过期时间的数据集中挑选最近最少使用的数据进行淘汰
volatile-ttl 从已设置过期的时间数据集中挑选将要过期的数据淘汰
volatile-random 从已设置过期时间的数据集中任意选择数据淘汰
allkeys-lru 从所有数据集中挑选最近最少使用的数据淘汰
allkeys-random 从所有数据集中任意选择数据进行淘汰
noeviction 禁止驱逐数据
volatile-lfu 从已设置过期时间的数据集中使用LFU策略淘汰
一般场景:
使用 Redis 缓存数据时,为了提高缓存命中率,尽量将所有热数据存在缓存中,可以将内存最大使用量设置为热点数据占用的内存量,然后启用allkeys-lru淘汰策略,将最近最少使用的数据淘汰
LRU概念
LRU(The Least Recently Used,最近最少未使用)是一种常见内存管理算法,最早应用于Linux操作系统,在Redis中也有广泛使用的。
LRU算法有这样一种假设:如果某个数据长期不被使用,在未来被用到的几率也不大;因此缓存容量达到上限时,应在写入新数据之前删除最久未使用的数据值,从而为新数据腾出空间。
LFU概念
LFU(The Least Frequently Used,最不经常使用)也是一种常见的缓存算法。
和LRU类似,LFU同样有这样的假设:如果一个数据在最近一段时间很少被访问到,那么可以认为在将来它被访问的可能性也很小。因此,当空间满时,最小频率访问的数据最先被淘汰;当存在两个或者更多个键具有相同的使用频次时,应该淘汰最久未使用的数据。(类比LRU)