Redis中过期删除策略和内存淘汰策略

过期删除策略

Redis的回收机制不会回收没有设定过期时间的数据,只会回收设置了有效期的。如果内存满了,那么就不会在接受写操作。

那为什么要设置过期时间呢?

  1. 可以确保缓存数据在一定时间内以有效。避免使用过期或无效的数据。
  2. 有效地释放内存空间,提高Redis服务器的性能和处理能力。
  3. 防止缓存雪崩,若同时大量数据失效或过期,那此时请求直接会落到数据库上,时数据库压力剧增。通过设置不同的过期时间,可以避免缓存同时过期,分散了请求对数据库的冲击,提高系统稳定性。

如果设置过期时间?

> expire key 10       // 给 key 设置过期时间, 单位 为 秒

> pexpire key 100         // 毫秒设置 过期时间

>  persist key   // 移除 key 的过期时间

判断键是否过期?

> exists ha           //  判断是否存在 键
(integer) 1

> ttl key  // 以秒为单位,返回 key的过期时间
> pttl key // 以毫秒为单位,返回key的过期时间

过期策略有哪些?

定期删除

每隔一段时间,随机检查一些设置过期时间的键,如果发现该键已经过期,那就将该键进行标记删除。

定期删除为什么选择抽检而不全检?

若遍历全部的键值对(无论是否过期),会耗费大量的资源和时间。又因为redis是单线程的,每次全检会消耗大量的CPU时间和内存带宽,导致redis性能下降。

惰性删除

惰性删除不会主动去检测删除,而是当你每次获取key的时候,会先检测 key 是否过期,如果没有过期就返回给你,若过期了,就直接删除了。

这种策略显而易见对CPU时间很友好,每次访问的时间很少。那若一个key过期了,但是又长久不去访问,那这个key是不是就一直占着内存了,不去使用了?这就造成了内存的浪费。

两种策略各有优缺点。所以 Redis使用的过期策略也就是 (定期删除 + 惰性删除)搭配使用。

那么也就会让我们产生思考,若定期删除遗漏大量的过期数据,而这些数据长期不会被使用,那这些数据不就一直存在内存中了吗?我们就一直让他们占内存吗?由此,redis引入了内存淘汰策略。

内存淘汰策略

当Redis运行内存超过Redis设置的最大内存之后,则会使用内存淘汰策略删除符合条件的key,以此来保障Redis高效运行。

八大内存淘汰策略,分为 [不进行数据淘汰],[进行数据淘汰] 策略

不进行数据淘汰

noeviction : 当运行内存超过最大设置内存时,不淘汰任何数据,这时若有新数据写入,会被通知禁止写入。此时,只能进行单纯的查询或者删除操作。

进行数据淘汰

从设置过期时间的数据中进行淘汰

命令注解
1volatile-random随机淘汰设置了过期时间的任意键值
2volatile-ttl优先淘汰更早过期的键值
3volatile-lru淘汰设置过期时间的键值中,最久未使用的键值
4volatile-lfu淘汰设置过期时间的键值中,最少使用的键值

从所有数据内淘汰

命令注解
1allkeys-random随机淘汰任意键值
2allkeys-lru淘汰整个键值中最久未使用的
3allkeys-lfu淘汰整个键值中最少使用的

查看 当前 Redis 的内存淘汰策略

127.0.0.1:6379> config get maxmemory-policy
1) "maxmemory-policy"
2) "noeviction"

设置内存淘汰策略的方法

  1. 在配置文件中设置策略:

    打开 Redis 配置文件(一般是 redis.conf),找到并修改 maxmemory-policy 参数的值为你想要使用的内存淘汰策略。例如:

    maxmemory-policy 策略
    

    保存并关闭配置文件后,重新启动 Redis 服务使配置生效。

  2. 使用 CONFIG SET 命令设置策略:

    连接到 Redis 服务器后,可以使用 CONFIG SET 命令来动态地设置内存淘汰策略。例如:

    config set maxmemory-policy 策略
    

​ 立即生效,不需要重启redis服务。

LRU算法和LFU算法

LRU算法

LRU算法是 最近最久未使用算法,选择淘汰最近 最久没使用的数据。

传统的LRU算法是基于 「链表」结构,链表的元素按照操作顺序从前往后排列,最新操作的被移动到表头,每次需要淘汰数据的时候,只需要选择链表尾部的即可。

但是Redis并没有用传统方法实现LRU算法?

1. 用链表管理所有的缓存数据,带来了额外开销。
1. 数据量过大的时候,进行链表移动,耗时,降低了Redis缓存性能。

那Redis如何实现 LRU算法?

给每个key增加一个大小为24bit的属性字段,代表最后一次被访问的时间戳。每次随机取 5 个key,淘汰最久未使用的key,直到Redis内存小于maxmemory为止。每次随机采用的数据通过配置文件中 maxmemory_samples 来修改,默认是5。采样数量越大越接近标准的LRU算法,但同时也带来了性能消耗。

LFU算法

LFU算法是 最近最不常用算法,根据访问次数来淘汰数据的。

LFU算法会记录每个数据的访问次数,当一个数据被再次访问时,就会增加该数据的访问次数。

在LFU算法中,Redis对象头的24bits的lru字段被分成两段来存储,高16bit存储ldt,低8bit存储logc。

  • ldt 是用来记录 key 的访问时间戳;
  • logc 是用来记录 key 的访问频次,它的值越小表示使用频率越低,越容易淘汰,每个新加入的 key 的logc 初始值为 5。

lru字段

其中这个logc并不是单纯的访问次数,而是访问频率,logc会 随时间推移而衰减 的。

每次访问key时,都对logc进行一个衰减操作。衰减的值 跟前后访问时间的差距有关系,如果上一次访问的时间与这一次访问的时间差距很大,那么衰减的值就越大,这样实现的LFU算法是根据访问频率来淘汰数据的,而不是访问次数.

对logc的增加操作,也并不是单纯的 +1,而是根据概率增加,如果logc越大的key,它的logc就越难再增加。

所以,Redis访问key时,对logc的变化是:

  1. 先按照上次访问距离当前的时长,来对 logc 进行衰减;
  2. 然后,再按照一定概率增加 logc 的值。

redis.conf 提供了两个配置项,用于调整 LFU 算法从而控制 logc 的增长和衰减:

  • lfu-decay-time 用于调整 logc 的衰减速度,它是一个以分钟为单位的数值,默认值为1,lfu-decay-time 值越大,衰减越慢;
  • lfu-log-factor 用于调整 logc 的增长速度,lfu-log-factor 值越大,logc 增长越慢
  • 12
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值