Redis的过期策略以及内存淘汰机制

目录

​​​一、过期策略

🔴1、惰性删除

​​​🔴2、定时删除

​​​🔴3、定期删除

定期删除+惰性删除存在的问题

二、内存淘汰机制

​​​🔴1、内存淘汰策略

​​​🔴2、内存淘汰算法

三、Lazy-Free机制

Lazy Free 与缓存淘汰的关系

四、相关问题

❓1:Redis 给缓存数据设置过期时间?

❓2:Redis 是如何判断数据是否过期的呢?

❓3:大量 key 集中过期怎么办?


在谈Redis过期概念时,先抛出几个问题:

❓1:Redis 给缓存数据设置过期时间?

❓2:Redis 是如何判断数据是否过期的呢?

❓3:大量 key 集中过期怎么办?

那么代入问题,根据概念思考这几个问题吧


Redis有三种数据过期策略:定时删除惰性删除定期删除

​​​一、过期策略

🔴1、惰性删除

当读/写一个已经过期的key时,会触发惰性删除策略,判断key是否过期,如果过期了直接删除掉这个key

简而言之:就是当被读写的时候,再判断是否过期再删除

对于过期的key不作任何处理,当获取key时检查key是否过期,过期就删除,否则直接返回。

优点:删除key操作只在取出key时发生,只删除当前key,占用CPU少。

缺点:当大量key超出过期时间后未被使用,会占用大量内存

​​​🔴2、定时删除

由于惰性删除策略无法保证冷数据被及时的删掉,所以Redis会定期(默认每100ms)主动淘汰一批已过期的key,这里的一批只是部分过期的key,所以可能会出现部分key已经过期但是还没有被清理掉的情况,导致内存没有被及时释放

简而言之:每隔一定时间删除

在设置key的过期时间时设置定时器,当key过期时通过定时器删除key。

优点:保证过期的key被及时删除。

缺点:在key过多时,删除key会占用cpu资源,对服务器的响应时间和吞吐量造成影响。同时为每个key设置定时器有性能消耗

​​​🔴3、定期删除

redis默认每隔100ms就随机抽取一些设置了过期时间的key,检查其是否过期,如果有过期就删除。注意这里是随机抽取的。为什么要随机呢?你想一想假如 redis 存了几十万个 key ,每隔100ms就遍历所有的设置过期时间的 key 的话,就会给 CPU 带来很大的负载

简而言之:随机每隔一定时间删除

定时删除和惰性删除的这种方案,每隔一段时间检查redis中过期的key,并通过限制删除执行的时长和频率。

优点:删除key时限制了删除操作的时长和频率,减少了对CPU的影响。即使删除了过期key,减少了内存的占用。

缺点:如果定期删除太频繁,或者执行时间太长,会退化为定时删除,占用CPU资源。如果删除执行时间太短,或者执行频率低,会退化为惰性删除,出现内存浪费。

Redis使用的是定期删除+惰性删除的策略,在合理使用CPU和避免内存浪费之间平衡

定期删除+惰性删除存在的问题

如果某个key过期后,定期删除没删除成功,然后也没再次去请求key,也就是说惰性删除也没生效。这时,如果大量过期的key堆积在内存中,redis的内存会越来越高,导致redis的内存块耗尽。那么就应该采用内存淘汰机制

二、内存淘汰机制

​​​🔴1、内存淘汰策略

❓❓:Redis Key没设置过期时间为什么被Redis主动删除了?

当Redis已用内存超过maxmemory限定时,就会触发主动清理策略

在 redis.conf 中有一行配置:

# maxmemory-policy noeviction

Redis的默认淘汰策略是noeviction

执行流程如下 

主动清理策略在Redis4.0之前一共实现了8种内存淘汰策略

a)针对设置了过期时间的key做处理:

        1、volatile-ttl:在设置了过期时间的键值对中,移除即将过期的键值对。

        2、volatile-random:在设置了过期时间的键值对中,随机移除某个键值对。

        3、volatile-lru:在设置了过期时间的键值对中,移除最近最少使用的键值对。

        4、volatile-lfu:在设置了过期时间的键值对中,移除最近最不频繁使用的键值对

b)针对所有的key做处理:

        5、allkeys-random:在所有键值对中,随机移除某个key。

        6、allkeys-lru:在所有的键值对中,移除最近最少使用的键值对。

        7、allkeys-lfu:在所有的键值对中,移除最近最不频繁使用的键值对

c)不处理

        8、noeviction:不进行淘汰数据。不会删除任何数据,拒绝所有写入操作并返回客户端错误信息"(error) OOM command not allowed when used memory",此时Redis只响应读操作

一旦缓存被写满,再有写请求进来,Redis就不再提供服务,而是直接返回错误。Redis 用作缓存时,实际的数据集通常都是大于缓存容量的,总会有新的数据要写入缓存,这个策略本身不淘汰数据,也就不会腾出新的缓存空间,我们不把它用在 Redis 缓存中

​​​🔴2、内存淘汰算法

从内测淘汰策略分类上,我们可以得知,除了随机删除和不删除之外,主要有两种淘汰算法:LRU 算法和 LFU 算法

LRU算法(Least Recently Used,最近最少使用):淘汰很久没被访问过的数据,以最近一次访问时间作为参考

LFU算法(Least Frequently Used,最不经常使用):淘汰最近一段时间被访问次数最少得数据,以次数作为参考

绝大多数情况,使用LRU算法,当存在大量热点缓存数据时,LFU可能更好点

三、Lazy-Free机制

Lazy-Free 特性是 Redis 4.0 开始引入的,指的是让 Redis 采用异步方式延迟释放 key 使用的内存,将该操作交给单独的子线程处理,避免阻塞主线程

目的是减少删除键时对主线程的影响,从而提高 Redis 的整体性能。

Lazy Free 主要有两种应用场景:

  • 主动删除:使用 UNLINK 命令代替 DEL 命令来删除键。UNLINK 命令会在后台异步地释放内存
  • 被动删除:在某些情况下,如过期键的删除或达到最大内存限制时的缓存淘汰,Redis 会尝试异步地释放内存。

Lazy Free 与缓存淘汰的关系

虽然 Lazy Free 不是缓存淘汰机制的一部分,但在缓存淘汰过程中,Lazy Free 可以用来优化缓存淘汰操作的执行方式,减少对 Redis 性能的影响。具体来说:

1、减少主线程阻塞:

在缓存淘汰策略中,当 Redis 需要删除键来释放内存时,使用 Lazy Free 可以减少主循环的阻塞时间。这是因为删除操作是在后台线程中完成的,而不是立即执行

2、提高性能:
Lazy Free 可以帮助提高 Redis 的性能,特别是在高负载的情况下,因为它减少了删除操作对主线程的影响。

3、与缓存淘汰策略的交互:
当 Redis 需要根据缓存淘汰策略删除键时,如果启用了 Lazy Free,那么这些删除操作可能会被异步执行,这有助于减少对客户端请求的延迟影响

🌰:假设 Redis 的缓存淘汰策略配置为 allkeys-lru,并且启用了 Lazy Free

当 Redis 达到最大内存限制时,它会根据 LRU 策略选择一些键来删除。

如果这些键满足 Lazy Free 的条件(例如,使用了 UNLINK 命令或配置了相应的 Lazy Free 选项),那么这些键的删除操作将在后台异步执行,而不是立即在主线程中执行

也就是说如果没有Lazy Free,执行缓存淘汰策略时,删除键的操作将会同步执行,可能会阻塞主线程,影响其他客户端的请求

四、相关问题

好了,来解决上面抛出的问题

❓1:Redis 给缓存数据设置过期时间?

(1)Redis的内存是有限的

如果不对缓存数据设置过期时间,那内存占用就会一直增长,最终可能会导致 OOM 问题。通过设置合理的过期时间,Redis 会自动删除暂时不需要的数据,为新的缓存数据腾出空间

(2)某些业务场景需要某些数据在一段时间后过期

比如我们的短信验证码可能只在 1 分钟内有效,用户登录的 Token 可能只在 1 天内有效

如果使用传统的数据库来处理的话,一般都是自己判断过期,这样更麻烦并且性能要差很多

❓2:Redis 是如何判断数据是否过期的呢?

Redis 通过一个叫做过期字典(可以看作是 hash 表)来保存数据过期的时间。过期字典的键指向 Redis 数据库中的某个 key(键)

过期字典的值是一个 long类型的整数,这个整数保存了 key 所指向的数据库键的过期时间(毫秒精度的 UNIX 时间戳)

在查询一个 key 的时候,Redis 首先检查该 key 是否存在于过期字典中(时间复杂度为 O(1)),如果不在就直接返回,在的话需要判断一下这个 key 是否过期,过期直接删除 key 然后返回 null。

❓3:大量 key 集中过期怎么办?

如果存在大量 key 集中过期的问题,可能会使 Redis 的请求延迟变高。可以采用下面的可选方案来应对:

  1. 尽量避免 key 集中过期,在设置键的过期时间时尽量随机一点。

  2. 对过期的 key 开启 lazyfree 机制(修改 redis.conf 中的 lazyfree-lazy-expire参数即可),这样会在后台异步删除过期的 key,不会阻塞主线程的运行。

  • 27
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值