Redis过期策略 实现原理

https://blog.csdn.net/xiangnan129/article/details/54928672

https://www.cnblogs.com/zhangchao-letv/p/6114030.html#undefined

1、redis设置过期时间：

expire key time(以秒为单位)--这是最常用的方式
setex(String key, int seconds, String value)--字符串独有的方式

注：

• 除了字符串自己独有设置过期时间的方法外，其他方法都需要依靠expire方法来设置时间

• 如果没有设置时间，那缓存就是永不过期

• 如果设置了过期时间，之后又想让缓存永不过期，使用persist key

---

注意：
第一章中各个小节的内容转自
https://www.cnblogs.com/zhangchao-letv/p/6114030.html#undefined

---

1.1 4个设置过期时间的命令：

Redis 有四个不同的命令可以用于设置键的生存时间(键可以存在多久)或过期时间(键什么时候会被删除) :

• EXPlRE 命令用于将键key 的生存时间设置为ttl 秒。
• PEXPIRE 命令用于将键key 的生存时间设置为ttl 毫秒。
• EXPIREAT < timestamp> 命令用于将键key 的过期时间设置为timestamp所指定的秒数时间戳。
• PEXPIREAT < timestamp > 命令用于将键key 的过期时间设置为timestamp所指定的毫秒数时间戳。

虽然有多种不同单位和不同形式的设置命令，但实际上EXPlRE、PEXPlRE 、EXPIREAT三个命令都是使用PEXPlREAT 命令来实现的：无论客户端执行的是以上四个命令中的哪一个， 经过转换之后，最终的执行效果都和执行PEXPlREAT 命令一样。

1.2 保存过期时间

redisDB结构的expires字典 保存了数据库中所有键的过期时间，我们称这个字典为过期字典：

• 过期字典的键是一个指针，这个指针指向键空间中的某个键对象( 也即是某个数据库键)。

• 过期字典的值是一个long long 类型的整数，这个整数保存了键所指向的数据库键的过期时间：一个毫秒精度的UNIX 时间戳。

一个带有过期字典的数据库例子：

• 键空间保存了数据库中的所有键值对
• 而过期字典则保存了数据库键的过期时间。

过期字典保存了两个键值对：

• 第一个键值对的键为alphabet 键对象，值为1385877600000 ，这表示数据库键alphabet 的过期时间为1385877600000 (2013年12月1日零时)。
• 第二个键值对的键为book键对象，值为1388556000000，这表示数据库键book的过期时间为1388556000000(2014年1月1日零时)。

当客户端执行PEXPIREAT 命令(或者其他三个会转换成PEXPIREAT命令的命令)为一个数据库键设置过期时间时，服务器 会在 数据库 的 过期字典 中关联给定的数据库键和过期时间。

举个例子， 如果在服务器执行以下命令之后:

redis> PEXPIREAT message 1 391234400000
(integer) 1

过期字典将新增一个键值对，其中键为message键对象，而值则为1391234400000(2014年2月1日零时)

1.3 移除过期时间

PERSIST命令可以移除一个键的过期时间：

PERSIST命令就是PEXPIREAT命令的反操作: PERSIST 命令在过期字典中查找给定的键,并解除键和值(过期时间)在过期字典中的关联。

举个例子，服务器执行以下命令之后:

redis> PERSIST book
(integer) 1

当PERSIST命令执行之后,过期字典中原来的book键值对消失了,这代表数据库键book的过期时间已经被移除。

1.4 过期键的判定

通过过期字典，程序可以用以下步骤检查一个给定键是否过期：

1 ) 检查给定键是否存在于过期字典:如果存在，那么取得键的过期时间。

2 ) 检查当前UNIX 时间戳是否大于键的过期时间: 如果是的话，那么键已经过期;否则的话，键未过期。

注意：

实现过期键判定的另一种方法是使用TTL 命令或者PTTL 命令，比如说，如采对某个键执行TTL 命令，并且命令返回的位大于等于0 ，那么说明该键未过期。在实际中， Redis检查键是否过期的方法和is_expired函数所描述的方法一致，因为直接访问字典比执行一个命令稍微快一些。

2、三种过期策略：

a.定时删除

• 含义：在设置key的过期时间的同时，为该key创建一个定时器，让定时器在key的过期时间来临时，对key进行删除

• 优点：保证内存被尽快释放

• 缺点：

  • 若过期key很多，删除这些key会占用很多的CPU时间，在CPU时间紧张的情况下，CPU不能把所有的时间用来做要紧的事儿，还需要去花时间删除这些key
  • 定时器的创建耗时，若为每一个设置过期时间的key创建一个定时器（将会有大量的定时器产生），性能影响严重

b.懒汉式删除

• 含义：key过期的时候不删除，每次通过key获取值的时候去检查是否过期，若过期，则删除，返回null。

• 优点：删除操作只发生在通过key取值的时候发生，而且只删除当前key，所以对CPU时间的占用是比较少的，而且此时的删除是已经到了非做不可的地步

• 缺点：若大量的key在超出超时时间后，很久一段时间内，都没有被获取过，那么可能发生内存泄露（无用的垃圾占用了大量的内存）

c.定期删除

• 含义：每隔一段时间执行一次删除过期key操作

• 优点：

  • 通过限制删除操作的时长和频率，来减少删除操作对CPU时间的占用–处理"定时删除"的缺点
  • 定期删除过期key–处理"懒汉式删除"的缺点

• 缺点：

  • 在内存友好方面，不如"定时删除"（会造成一定的内存占用，但是没有懒汉式那么占用内存）
  • 在CPU时间友好方面，不如"懒汉式删除"（会定期的去进行比较和删除操作，cpu方面不如懒汉式，但是比定时好）

• 难点：合理设置删除操作的执行时长（每次删除执行多长时间）和执行频率（每隔多长时间做一次删除）（这个要根据服务器运行情况来定了），每次执行时间太长，或者执行频率太高对cpu都是一种压力。

  每次进行定期删除操作执行之后，需要记录遍历循环到了哪个标志位，以便下一次定期时间来时，从上次位置开始进行循环遍历

memcached只是用了惰性删除，而redis同时使用了惰性删除与定期删除，这也是二者的一个不同点（可以看做是redis优于memcached的一点）；

对于懒汉式删除而言，并不是只有获取key的时候才会检查key是否过期，在某些设置key的方法上也会检查（eg.setnx key2 value2：该方法类似于memcached的add方法，如果设置的key2已经存在，那么该方法返回false，什么都不做；如果设置的key2不存在，那么该方法设置缓存key2-value2。假设调用此方法的时候，发现redis中已经存在了key2，但是该key2已经过期了，如果此时不执行删除操作的话，setnx方法将会直接返回false，也就是说此时并没有重新设置key2-value2成功，所以对于一定要在setnx执行之前，对key2进行过期检查）。

3、Redis采用的过期策略

懒汉式删除+定期删除

懒汉式删除流程：

• 在进行get或setnx等操作时，先检查key是否过期；
• 若过期，删除key，然后执行相应操作；
• 若没过期，直接执行相应操作；

定期删除流程（简单而言，对指定个数个库的每一个库随机删除小于等于指定个数个过期key）：

• 遍历每个数据库（就是redis.conf中配置的 "database"数量，默认为16）

• 检查当前库中的指定个数个key（默认是每个库检查20个key，注意相当于该循环执行20次，循环体是下边的描述）

  • 如果当前库中没有一个key设置了过期时间，直接执行下一个库的遍历
  • 随机获取一个设置了过期时间的key，检查该key是否过期，如果过期，删除key
  • 判断定期删除操作是否已经达到指定时长，若已经达到，直接退出定期删除。

对于定期删除，在程序中有一个全局变量current_db来记录下一个将要遍历的库，假设有16个库，我们这一次定期删除遍历了10个，那此时的current_db就是11，下一次定期删除就从第11个库开始遍历，假设current_db等于15了，那么之后遍历就再从0号库开始（此时current_db==0）

在实际中，如果我们要自己设计过期策略，在使用懒汉式删除+定期删除时，控制时长和频率这个尤为关键，需要结合服务器性能，已经并发量等情况进行调整，以致最佳。

4、主从服务器删除过期键处理

转自
https://blog.csdn.net/qq_35981283/article/details/70156422

参考书上说的有三种：RDB持久化、AOF持久化和复制功能。

1、RDB：

1. 主服务器模式运行在载入RDB文件时，程序会检查文件中的键，只会加载未过期的，过期的会被忽略，所以RDB模式下过期键不会对主服务器产生影响。
2. 从服务器运行载入RDB文件时，会载入所有键，包括过期和未过期。当主服务器进行数据同步的时候，从服务器的数据会被清空，所以RDB文件的过期键一般不会对从服务器产生影响。

2、AOF：
AOF文件不会受过期键的影响。如果有过期键未被删除，会执行以下动作：

客户端请求时（过期键）：

1. 从数据库中删除被访问的过期键；
2. 追加一条DEL 命令到AOF文件；
3. 向执行请求的客户端回复nil（空）。

3、复制：

1. 主服务器删除过期键之后，向从服务器发送一条DEL指令，告知删除该过期键。

2. 从服务器接收到get指令的时候不会对过期键进行处理，只会当做未过期键一样返回。（为了保持主从服务器数据的一致性）

3. 从服务器只有接到主服务器发送的DEL指令后才会删除过期键。

参考书籍：《Redis设计与实现》黄健宏著