Redis(设计与实现):19---数据库之键的过期删除策略(expireIfNeeded、activeExpireCycle)

最新推荐文章于 2024-08-26 08:00:00 发布

董哥的黑板报

最新推荐文章于 2024-08-26 08:00:00 发布

阅读量1k

点赞数 1

分类专栏： Redis(设计与实现) 文章标签：键的过期删除策略 expireIfNeeded activeExpireCycle

本文链接：https://blog.csdn.net/qq_41453285/article/details/103289994

版权

Redis(设计与实现) 专栏收录该内容

78 篇文章 28 订阅

订阅专栏

如果一个键过期了，可以有下面3个过期删除策略：

①定时删除（Redis不支持）
②惰性删除
③定期删除

注意：

在这3种策略中，第①种和第③种为主动删除策略，而第②种则为被动删除策略
Redis服务器实际使用的是惰性删除和定期删除两种策略：通过配合使用这两种删除策略，服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡

一、定时删除

概念：在设置键的过期时间的同时，创建一个定时器（timer），让定时器在键的过期时间来临时，立即执行对键的删除操作
Redis服务器没有使用这种策略
优点：
- 对内存是最友好的：通过使用定时器，定时删除策略可以保证过期键会尽可能快地被删除，并释放过期键所占用的内存
缺点：
- 它对CPU时间是最不友好的：在过期键比较多的情况下，删除过期键这一行为可能会占用相当一部分CPU时间，在内存不紧张但是CPU时间非常紧张的情况下，将CPU时间用在删除和当前任务无关的过期键上，无疑会对服务器的响应时间和吞吐量造成影响
- 创建一个定时器需要用到Redis服务器中的时间事件，而当前时间事件的实现方式——无序链表，查找一个事件的时间复杂度为O(N)——并不能高效地处理大量时间事件

二、惰性删除

概念：放任键过期不管，但是每次从键空间中获取键时，都检查取得的键是否过期，如果过期的话，就删除该键；如果没有过期，就返回该键
优点：
- 对CPU时间来说是最友好的：程序只会在取出键时才对键进行过期检查，这可以保证删除过期键的操作只会在非做不可的情况下进行，并且删除的目标仅限于当前处理的键，这个策略不会在删除其他无关的过期键上花费任何CPU时间
缺点：
- 它对内存是最不友好的：如果一个键已经过期，而这个键又仍然保留在数据库中，那么只要这个过期键不被删除，它所占用的内存就不会释放
- 例如：在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键又恰好没有被访问到的话，那么它们也许永远也不会被删除（除非用户手动执行FLUSHDB），我们甚至可以将这种情况看作是一种内存泄漏——无用的垃圾数据占用了大量的内存，而服务器却不会自己去释放它们，这对于运行状态非常依赖于内存的Redis服务器来说，肯定不是一个好消息

实现原理（expireIfNeeded函数）

expireIfNeeded函数就像一个过滤器，它可以在命令真正执行之前，过滤掉过期的输入键，从而避免命令接触到过期键
惰性删除策略由db.c/expireIfNeeded函数实现，所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查：
如果输入键已经过期，那么expireIfNeeded函数将输入键从数据库中删除
如果输入键未过期，那么expireIfNeeded函数不做动作

因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除，所以每个命令的实现函数都必须能同时处理键存在以及键不存在这两种情况：
当键存在时，命令按照键存在的情况执行
当键不存在或者键因为过期而被expireIfNeeded函数删除时，命令按照键不存在的情况执行
举个例子，下图展示了GET命令的执行过程，在这个执行过程中，命令需要判断键是否存在以及键是否过期，然后根据判断来执行合适的动作

三、定期删除

概念：每隔一段时间，程序就对数据库进行一次检查，删除里面的过期键。至于要删除多少过期键，以及要检查多少个数据库，则由算法决定
上面对定时删除和惰性删除的讨论来看，这两种删除方式在单一使用时都有明显的缺陷。定期删除策略是前两种策略的一种整合和折中
优点：
- 定期删除策略每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响
- 通过定期删除过期键，定期删除策略有效地减少了因为过期键而带来的内存浪费
难点：
- 如果删除操作执行得太频繁，或者执行的时间太长，定期删除策略就会退化成定时删除策略，以至于将CPU时间过多地消耗在删除过期键上面
- 如果删除操作执行得太少，或者执行的时间太短，定期删除策略又会和惰性删除策略一样，出现浪费内存的情况
- 因此，如果采用定期删除策略的话，服务器必须根据情况，合理地设置删除操作的执行时长和执行频率

实现原理（activeExpireCycle函数）

过期键的定期删除策略由redis.c/activeExpireCycle函数实现，每当Redis的服务器周期性操作redis.c/serverCron函数执行时，activeExpireCycle函数就会被调用，它在规定的时间内，分多次遍历服务器中的各个数据库，从数据库的expires字典中随机检查一部分键的过期时间，并删除其中的过期键
整个过程可以用伪代码描述如下：
#默认每次检查的数据库数量
DEFAULT_DB_NUMBERS = 16

#默认每个数据库检查的键数量
DEFAULT_KEY_NUMBERS = 20

#全局变量，记录检查进度
current_db = 0

def activeExpireCycle():
    # 初始化要检查的数据库数量
    # 如果服务器的数据库数量比 DEFAULT_DB_NUMBERS 要小
    # 那么以服务器的数据库数量为准
    if server.dbnum < DEFAULT_DB_NUMBERS:
        db_numbers = server.dbnum
    else:
        db_numbers = DEFAULT_DB_NUMBERS

    # 遍历各个数据库
    for i in range(db_numbers):
        # 如果current_db 的值等于服务器的数据库数量
        # 这表示检查程序已经遍历了服务器的所有数据库一次
        # 将current_db 重置为0 ，开始新的一轮遍历
        if current_db == server.dbnum:
            current_db = 0
       
        # 获取当前要处理的数据库
        redisDb = server.db[current_db]

        # 将数据库索引增1 ，指向下一个要处理的数据库
        current_db += 1

        # 检查数据库键
        for j in range(DEFAULT_KEY_NUMBERS):
            # 如果数据库中没有一个键带有过期时间，那么跳过这个数据库
            if redisDb.expires.size() == 0: break
                #随机获取一个带有过期时间的键
                key_with_ttl = redisDb.expires.get_random_key()
    
                # 检查键是否过期，如果过期就删除它
                if is_expired(key_with_ttl):
                    delete_key(key_with_ttl)
                # 已达到时间上限，停止处理
                if reach_time_limit(): return
activeExpireCycle函数的工作模式总结：
函数每次运行时，都从一定数量的数据库中取出一定数量的随机键进行检查，并删除其中的过期键
全局变量current_db会记录当前activeExpireCycle函数检查的进度，并在下一次 activeExpireCy cle函数调用时，接着上一次的进度进行处理。比如说，如果当前 activeExpireCy cle函数在遍历10号数据库时返回了，那么下次activeExpireCycle函数执行时，将从11号数据库开始查找并删除过期键
随着activeExpireCycle函数的不断执行，服务器中的所有数据库都会被检查一遍，这时函数将current_db变量重置为0，然后再次开始新一轮的检查工作