Redis中过期删除策略和内存淘汰策略
过期删除策略
Redis的回收机制不会回收没有设定过期时间的数据,只会回收设置了有效期的。如果内存满了,那么就不会在接受写操作。
那为什么要设置过期时间呢?
- 可以确保缓存数据在一定时间内以有效。避免使用过期或无效的数据。
- 有效地释放内存空间,提高Redis服务器的性能和处理能力。
- 防止缓存雪崩,若同时大量数据失效或过期,那此时请求直接会落到数据库上,时数据库压力剧增。通过设置不同的过期时间,可以避免缓存同时过期,分散了请求对数据库的冲击,提高系统稳定性。
如果设置过期时间?
> expire key 10 // 给 key 设置过期时间, 单位 为 秒
> pexpire key 100 // 毫秒设置 过期时间
> persist key // 移除 key 的过期时间
判断键是否过期?
> exists ha // 判断是否存在 键
(integer) 1
> ttl key // 以秒为单位,返回 key的过期时间
> pttl key // 以毫秒为单位,返回key的过期时间
过期策略有哪些?
定期删除
每隔一段时间,随机检查一些设置过期时间的键,如果发现该键已经过期,那就将该键进行标记删除。
定期删除为什么选择抽检而不全检?
若遍历全部的键值对(无论是否过期),会耗费大量的资源和时间。又因为redis是单线程的,每次全检会消耗大量的CPU时间和内存带宽,导致redis性能下降。
惰性删除
惰性删除不会主动去检测删除,而是当你每次获取key的时候,会先检测 key 是否过期,如果没有过期就返回给你,若过期了,就直接删除了。
这种策略显而易见对CPU时间很友好,每次访问的时间很少。那若一个key过期了,但是又长久不去访问,那这个key是不是就一直占着内存了,不去使用了?这就造成了内存的浪费。
两种策略各有优缺点。所以 Redis使用的过期策略也就是 (定期删除 + 惰性删除)搭配使用。
那么也就会让我们产生思考,若定期删除遗漏大量的过期数据,而这些数据长期不会被使用,那这些数据不就一直存在内存中了吗?我们就一直让他们占内存吗?由此,redis引入了内存淘汰策略。
内存淘汰策略
当Redis运行内存超过Redis设置的最大内存之后,则会使用内存淘汰策略删除符合条件的key,以此来保障Redis高效运行。
八大内存淘汰策略,分为 [不进行数据淘汰],[进行数据淘汰] 策略
不进行数据淘汰
noeviction : 当运行内存超过最大设置内存时,不淘汰任何数据,这时若有新数据写入,会被通知禁止写入。此时,只能进行单纯的查询或者删除操作。
进行数据淘汰
从设置过期时间的数据中进行淘汰
命令 | 注解 | |
---|---|---|
1 | volatile-random | 随机淘汰设置了过期时间的任意键值 |
2 | volatile-ttl | 优先淘汰更早过期的键值 |
3 | volatile-lru | 淘汰设置过期时间的键值中,最久未使用的键值 |
4 | volatile-lfu | 淘汰设置过期时间的键值中,最少使用的键值 |
从所有数据内淘汰
命令 | 注解 | |
---|---|---|
1 | allkeys-random | 随机淘汰任意键值 |
2 | allkeys-lru | 淘汰整个键值中最久未使用的 |
3 | allkeys-lfu | 淘汰整个键值中最少使用的 |
查看 当前 Redis 的内存淘汰策略
127.0.0.1:6379> config get maxmemory-policy
1) "maxmemory-policy"
2) "noeviction"
设置内存淘汰策略的方法
-
在配置文件中设置策略:
打开 Redis 配置文件(一般是 redis.conf),找到并修改
maxmemory-policy
参数的值为你想要使用的内存淘汰策略。例如:maxmemory-policy 策略
保存并关闭配置文件后,重新启动 Redis 服务使配置生效。
-
使用 CONFIG SET 命令设置策略:
连接到 Redis 服务器后,可以使用
CONFIG SET
命令来动态地设置内存淘汰策略。例如:config set maxmemory-policy 策略
立即生效,不需要重启redis服务。
LRU算法和LFU算法
LRU算法
LRU算法是 最近最久未使用算法,选择淘汰最近 最久没使用的数据。
传统的LRU算法是基于 「链表」结构,链表的元素按照操作顺序从前往后排列,最新操作的被移动到表头,每次需要淘汰数据的时候,只需要选择链表尾部的即可。
但是Redis并没有用传统方法实现LRU算法?
1. 用链表管理所有的缓存数据,带来了额外开销。
1. 数据量过大的时候,进行链表移动,耗时,降低了Redis缓存性能。
那Redis如何实现 LRU算法?
给每个key增加一个大小为24bit的属性字段,代表最后一次被访问的时间戳。每次随机取 5 个key,淘汰最久未使用的key,直到Redis内存小于maxmemory为止。每次随机采用的数据通过配置文件中 maxmemory_samples 来修改,默认是5。采样数量越大越接近标准的LRU算法,但同时也带来了性能消耗。
LFU算法
LFU算法是 最近最不常用算法,根据访问次数来淘汰数据的。
LFU算法会记录每个数据的访问次数,当一个数据被再次访问时,就会增加该数据的访问次数。
在LFU算法中,Redis对象头的24bits的lru字段被分成两段来存储,高16bit存储ldt,低8bit存储logc。
- ldt 是用来记录 key 的访问时间戳;
- logc 是用来记录 key 的访问频次,它的值越小表示使用频率越低,越容易淘汰,每个新加入的 key 的logc 初始值为 5。
其中这个logc并不是单纯的访问次数,而是访问频率,logc会 随时间推移而衰减 的。
每次访问key时,都对logc进行一个衰减操作。衰减的值 跟前后访问时间的差距有关系,如果上一次访问的时间与这一次访问的时间差距很大,那么衰减的值就越大,这样实现的LFU算法是根据访问频率来淘汰数据的,而不是访问次数.
对logc的增加操作,也并不是单纯的 +1,而是根据概率增加,如果logc越大的key,它的logc就越难再增加。
所以,Redis访问key时,对logc的变化是:
- 先按照上次访问距离当前的时长,来对 logc 进行衰减;
- 然后,再按照一定概率增加 logc 的值。
redis.conf 提供了两个配置项,用于调整 LFU 算法从而控制 logc 的增长和衰减:
lfu-decay-time
用于调整 logc 的衰减速度,它是一个以分钟为单位的数值,默认值为1,lfu-decay-time 值越大,衰减越慢;lfu-log-factor
用于调整 logc 的增长速度,lfu-log-factor 值越大,logc 增长越慢