追求性能极致 - Redis:LRU内存淘汰算法分析

本文详细解读了Redis的内存淘汰机制,包括默认策略、设置过期时间的淘汰策略(如Volatile-TTL、LRU、LFU)和所有key的淘汰策略。重点介绍了LRU算法的工作原理及其在Redis中的应用,通过Go语言示例展示了LRU淘汰过程的实现。
摘要由CSDN通过智能技术生成

作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO

联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬

学习必须往深处挖,挖的越深,基础越扎实!

阶段1、深入多线程

阶段2、深入多线程设计模式

阶段3、深入juc源码解析


阶段4、深入jdk其余源码解析


阶段5、深入jvm源码解析

码哥源码部分

码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场景题】

码哥讲源码【炸雷啦!炸雷啦!黄光头他终于跑路啦!】

码哥讲源码-【jvm课程前置知识及c/c++调试环境搭建】

​​​​​​码哥讲源码-原理源码篇【揭秘join方法的唤醒本质上决定于jvm的底层析构函数】

码哥源码-原理源码篇【Doug Lea为什么要将成员变量赋值给局部变量后再操作?】

码哥讲源码【你水不是你的错,但是你胡说八道就是你不对了!】

码哥讲源码【谁再说Spring不支持多线程事务,你给我抽他!】

终结B站没人能讲清楚红黑树的历史,不服等你来踢馆!

打脸系列【020-3小时讲解MESI协议和volatile之间的关系,那些将x86下的验证结果当作最终结果的水货们请闭嘴】

1 介绍

上一期我们介绍了 Redis系列18:过期数据的删除策略 ,但是无论是惰性删除还是定期删除,都可能存在删除不尽的情况,无法删除完全,比如每次删除完过期的 key 还是超过 25%,且这些 key 再也不会被客户端访问。
这样的话,定期删除和堕性删除可能都彻底的清理掉。如果这种情况长时间持续下去,可能会导致内存耗尽,所以Redis必须有一个完善的内存淘汰机制来保障。这就是我们这一篇的重点,Redis内存自动淘汰机制。

2 Redis内存淘汰策略

在 redis 中总共由8种淘汰策略,默认的淘汰策略是 noeviction。

noeviction不淘汰策略(默认)
noeviction不淘汰策略(默认)
淘汰数据策略设置过期时间的淘汰策略valatile-random随机淘汰算法
volatile-ttl淘汰失效时间最短的key
volatile-lru删除最近最少使用的key
volatile-lfu删除访问次数最少的key
所有数据的淘汰策略allkeys-lru删除最近最少使用的key(全部)
allkeys-lfu删除访问次数最少的key(全部)
allkey-random随机淘汰算法(全部)

2.1 设置过期时间的淘汰策略

volatile-ttl、volatile-random、volatile-lru、volatile-lfu 这4种策略淘汰的数据范围为设置了过期时间的数据。

2.2 所有 key 的淘汰策略

allkeys-lru、allkeys-random、allkeys-lfu 这3种淘汰策略无论是否设置了过期时间,内存不足时都会进行淘汰。
也就是说无论它的过期时间到没到,都有可能被删除。

3 LRU淘汰策略执行过程

这边以LRU算法为例子讲解,它的全称是 Least Rencently Used,即将最近最久未使用的算法进行数据淘汰。
我们这边以图例来讲解,整个过程如下:

  • 首先设置一个淘汰池(一个链表),假设默认大小是16,里面的数据采用末尾淘汰制。如图中

    • MRU:表示链表的表头,代表着最近最常被访问的数据;
    • LRU:表示链表的表尾,代表最近最不常使用的数据。
  • 如果淘汰池中的数据被访问,则会被移动到 MRU 端,其他位置的数据则相应往后移动一位

  • 每次指令操作的时候,自旋会判断当前内存是否满足指令所需要的内存

  • 如果当前内存不能满足,会从淘汰池中的尾部拿取一个最适合淘汰的数据

    • 取样模式(配置 maxmemory-samples属性)从Redis中获取随机的取样数据,避免一次性读取All Key性能慢
    • 在取样的数据中,根据淘汰算法 找到最适合淘汰的数据
  • 将需要淘汰的数据从Redis删除,并且从淘汰池移除

这边注意,LRU 更新和新增数据都发生在链表首,删除数据都发生在链表尾。
水果 Orange 跟 Pitaya 被访问,被移动到MRU端,新增的Mango也被插入到MRU端。而最末端的Olive则被删除。

4 算法实现

以下是使用Go语言实现Redis LRU淘汰过程的示例代码,代码注释很清楚:

    package main  
      
    import (  
        "container/list"  
        "fmt"  
        "time"  
    )  
      
    type Redis struct {  
        data map[string]*list.Element // 存储缓存项的键和值,以及它们在LRU链表中的位置  
        lru *list.List // LRU链表  
    }  
      
    type cacheItem struct {  
        key   string  
        value string  
        // 记录该缓存项最后一次被访问的时间  
        lastAccess time.Time  
    }  
      
    func NewRedis() *Redis {  
        return &Redis{  
            data: make(map[string]*list.Element),  
            lru: list.New(),  
        }  
    }  
      
    func (r *Redis) Get(key string) (string, bool) {  
        // 从LRU链表中查找缓存项  
        if elem, ok := r.data[key]; ok {  
            // 将该缓存项移动到链表头部,表示最近被访问过  
            r.lru.MoveToFront(elem)  
            // 更新缓存项的最后访问时间  
            item := elem.Value.(*cacheItem)  
            item.lastAccess = time.Now()  
            return item.value, true  
        }  
        return "", false  
    }  
      
    func (r *Redis) Set(key string, value string) {  
        // 从LRU链表中查找缓存项  
        if elem, ok := r.data[key]; ok {  
            // 如果缓存项存在,更新其值和最后访问时间,并将其移动到链表头部  
            item := elem.Value.(*cacheItem)  
            item.value = value  
            item.lastAccess = time.Now()  
            r.lru.MoveToFront(elem)  
            return  
        }  
        // 如果缓存项不存在,创建新的缓存项并将其添加到LRU链表头部  
        item := &cacheItem{  
            key:    key,  
            value:  value,  
            lastAccess: time.Now(),  
        }  
        elem := r.lru.PushFront(item)  
        r.data[key] = elem  
        // 如果缓存空间已满,执行LRU淘汰操作  
        for r.lru.Len() > maxItems {  
            // 从链表尾部查找最久未被访问的缓存项  
            elem := r.lru.Back()  
            item := elem.Value.(*cacheItem)  
            // 如果该缓存项的过期时间已到达,则从链表中删除该缓存项  
            if item.lastAccess.Add(expireTime).Before(time.Now()) {  
                r.lru.Remove(elem)  
                delete(r.data, item.key)  
            } else {  
                // 否则,只从链表中删除该缓存项  
                r.lru.Remove(elem)  
            }  
        }  
    }

在这个示例中,我们使用了一个map来存储缓存项的键和值,以及它们在LRU链表中的位置。我们使用了一个LRU链表来存储缓存项,并按照访问时间将它们排序。在Get方法中,我们从LRU链表中查找缓存项,并将其移动到链表头部,表示最近被访问过。在Set方法中,如果缓存项已存在,我们更新其值和最后访问时间,并将其移动到链表头部;如果缓存项不存在,我们创建新的缓存项并将其添加到LRU链表头部。如果缓存空间已满,我们执行LRU淘汰操作,从链表尾部查找最久未被访问的缓存项,并从链表中删除它。注意,我们还检查了缓存项的过期时间,如果该缓存项已过期,则也会从链表中删除它。

5 总结

第4小节基本来自baidu文心一言的组织,非常感谢。
这一篇我们介绍了Redis的几种内存淘汰策略,并且详细分析了LRU算法的实现原理。下一篇我们分析下 LFU 算法。

  • 9
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值