php过期键的定期删除策略,redis笔记-数据库之过期键删除策略

2016-1-7 by Atlas

基础指令篇提到过EXPIRE、PEXPIRE、EXPIREAT、PEXPIREAT四个过期键的命令，表达过期键删除策略前先重温一下这个四个命令的详细过程。

* 设置过期时间

EXPIRE ---转换成---> PEXPIRE

def EXPIRE(key,ttl_in_sec):

// 将TTL从秒转换成毫秒

ttl_in_ms = sec_to_ms(ttl_in_sec)

// 调用PEXPIRE

PEXPIRE(key,ttl_in_ms)

PEXPIRE ---转换成---> PEXPIREAT

def PEXPIRE(key,ttl_in_ms):

// 获取以毫秒计算的当前UNIX时间戳

now_ms = get_current_unix_timestamp_in_ms()

// 当前时间加上TTL，得出毫秒格式的键过期时间

PEXPIREAT(key,now_ms+tll_in_ms)

EXPIREAT ---转换成---> PEXPIREAT

def EXPIREAT(key,expire_time_in_sec):

// 将过期时间从秒转换成毫秒

expire_time_in_ms = sec_to_ms(expire_time_in_sec)

// 调用PEXPIREAT

PEXPIREAT(key,expire_time_in_ms)

EXPIRE、PEXPIRE、EXPIREAT都适配成PEXPIREAT，由PEXPIREAT函数具体实现键的过期操作。

def PEXPIREAT(key,expire_time_in_ms):

// 如果给定的键不存在于键空间，那么不能设置过期时间

if key not in redisDb.dict:

return 0

// 在过期字典中关联键和过期时间

redisDb.expires[key} = expire_time_in_ms

// 过期时间设置成功

return 1

* 过期键删除策略

redis默认删除策略组合是(惰性删除 + 定期删除)。

定时删除

策略：在设置键的过期时间的同时，创建一个定时器，让定时器在键的过期时间来临时，立即执行对键的删除操作。

优点：对内存友好，保证过期键会尽可能快地被删除，并释放过期键所占用的内存。

缺点：对CPU时间不友好，占用太多CPU时间，影响服务器的响应时间和吞吐量。

惰性删除

策略：放任过期键不管，每次从键空间读写操作时，都检查键是否过期，如果过期，删除该键，如果没有过期，返回该键。

优点：对CPU时间友好，读写操作键时才对键进行过期检查，删除过期键的操作只会在非做不可的情况下进行。

缺点：对内存不友好，只要键不删除，就不会释放内存，浪费太多内存，有内存泄漏风险。

实现：所有读写数据库的redis命令在执行前都会调用expireIfNeeded函数对输入键进行检查，如果输入键已经过期，那么expireIfNeeded函数就将过期键删除；如果输入键未过期，那么expireIfNeeded函数不作为。

定期删除

策略：对定时删除策略和惰性删除策略的一种整合和折中。每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响；通过定期删除过期键，有效减少了因为过期键而带来的内存浪费。

难点：确定删除操作执行的时长和频率。执行太频繁，执行时间过长，就会退化成定时删除策略；执行得太少，执行时间太短，又会和惰性删除策略一样存在内存浪费的情况。

redis服务器使用惰性删除和定期删除两种策略，通过配合使用，很好地在合理使用CPU时间和避免浪费内存之间取得平衡。

实现：

1)在规定的时间内，分多次遍历服务器中的各个数据库；

2)从数据库的expires字典中随机检查一部分键的过期时间；

3)删除其中的过期键。

伪代码：

# 默认每次检查的数据库数量

DEFAULT_DB_NUMBERS = 16

# 默认每个数据检查的键数量

DEFAULT_KEY_NUMBERS = 20

# 全局变量，记录检查进度

current_db = 0

def activeExpireCycle():

# 初始化要检查的数据库数量

# 如果服务器的数据库数量比DEFAULT_DB_NUMBERS小

# 那么以服务器的数据库数量为准

if server.dbnum < DEFAULT_DB_NUMBERS:

db_numbers = server.dbnum

else:

db_numbers = DEFAULT_DB_NUMBERS

# 遍历各个数据库

for i in range(db_numbers):

# 如果current_db的值等于服务器的数据库数量

# 表示检查程序已经遍历了服务器的所有数据库一次

# 将current_db重置为0，开始新一轮遍历

if current_db == server.dbnum:

current_db = 0

# 获取当前要处理的数据库

redisDb = server.db[current_db]

# 将数据库索引增1，指向下一个要处理的数据库

current_db +=1

# 检查数据库键

for j in range(DEFAULT_KEY_NUMBERS):

# 如果数据库中没有过期键，那么跳过这个数据库

if redisDb.expires.size() == 0:break

# 随机获取一个带有过期时间的键

key_with_ttl = redisDb.expires.get_random_key()

# 检查键是否过期，如果过期就删除

if is_expired(key_with_ttl):

delete_key(key_with_ttl)

# 已经达到本次删除操作时间上限，停止处理

if reach_time_limit():return

* RDB功能对过期键的处理

如果服务器开启RDB功能。

生成RDB文件时：

在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时，程序会对数据库中的键进行检查，已过期的键不会被保存到新创建的RDB文件中。

载入RDB文件时：

1)如果服务器以主服务器模式运行，那么载入RDB文件时，程序会对文件中保存的键进行检查，未过期的键会被载入到数据库中，而过期的键则被忽略，所以过期键对载入RDB文件的主服务器不会造成影响。

2)如果服务器以从服务器模式运行，那么载入RDB文件时，文件中保存的所有键，不论是否过期，都会被载入到数据库中。不过，主服务器在进行数据同步的时候，从服务器的数据库就会被清空，所以一般来讲，过期键对载入RDB文件的从服务器也不会造成影响。

* AOF功能对过期键的处理

如果服务器以AOF持久化模式运行。

如果数据库中的某个键已经过期，但它还没有被惰性删除或者定期删除，那么AOF文件不会因为这个过期键而产生任何影响。

当过期键被惰性删除或者定期删除之后，程序会向AOF文件中追加一条DEL命令，来显示地记录该键已被删除。

AOF重写的过程中，程序会对数据库中的键进行检查，已经过期的键不会被保存到重写后的AOF文件中。

* 复制功能对过期键的处理

主服务器在删除一个过期键之后，会显示地向所有的从服务器发送一个DEL命令，告知从服务器删除这个过期键。

从服务器在执行客户端发送的读命令时，即使碰到过期键也不会将过期键删除，而是继续像处理未过期的键一样来处理过期键。

从服务器只有接收到主服务器发来的DEL命令后，才会删除过期键。

参考文献：《redis设计与实现》