源码篇--Redis 内存策略

---

---

前言

Redis之所以性能强，最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大，会影响持久化或主从同步的性能；所以当内存使用达到上限时，就无法存储更多数据了 ，那么 redis 是怎么避免达到内存上限；

---

一、内存淘汰策略：

我们可以通过修改配置文件来设置Redis的最大内存:

# maxmemory <bytes>

#例如: maxmemory 1gb
当redis 内存达到上限之前，redis 会采取一定的策略，进行内存淘汰；

1.1 过期策略：

1.1.1 key 的TTL：

在学习Redis缓存的时候我们说过，可以通过expire命令给Redis的key设置TTL(存活时间):

可以发现，当kev的TTL到期以后，再次访问name返回的是nil，说明这个key已经不存在了，对应的内存也得到释放从而起到内存回收的目的。

1.1.2 redis 库内的内存结构：

一个redis库内的存储结构；

• *dict 指针: 指向 dict ，记录key 和value；
• *expires指针：指向dict ，记录key 对应的ttl (存活时间，这个过期时间会随着时间推移一直简书 直到为0)时间；
• blocking_keys , read_keys,* watched_keys 跟功能有关；
• id 哪个库
• avg_ttl : key 的平均过期时间；

1.1.3 redis 怎么知道哪个key 过期：

在 expires 记录了改库中所有key 的剩余存活时间，这样当通过key 获取value 时，就可以通过ttl 判断 key 是否过期；

expires 是一个 hash 结构，在ht[0] 中 key 指向存储的键值，value 指向 改key 的存活时间；

1.1.4 Redis 对过期key 的删除：

如果发现key 过期，是立即删除吗?
如果要立即对key 进行删除，就需要监控到每个key ，如果有大量的key，就需要消耗大量的资源；实际redis 使用：使用惰性删除和周期删除一起 确保过期的key 最终会被清理掉；

1.1.4.1 惰性删除:

惰性删除: 顾明思议并不是在TTL到期后就立刻删除，而是在访问一个key（对key 的增删改查）的时候，检查该key的存活时间，如果已经过期才执行删除。

因为key 是在访问的时候进行删除，如果一直不访问这个key 那么这个key 就会一直存在,所有需要有其它策略来弥补这个漏洞；

1.1.4.2 周期删除:

顾明思议是通过一个定时任务，周期性的抽样部分过期的key，然后执行删除。执行周期有两种：
1 ）Redis服务器初始化时调用initServer，会设置一个定时任务serverCron()，按照server.hz的频率来执行过期key清理，模式为SLOW；redis 初始之后1 ms 后执行，随后每隔100ms 执行一次清理工作；低频大量清理每次耗时较长在25ms 之内；

SLOW 模式特点：

• 执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期100ms。
• 执行清理耗时不超过一次执行周期的25%.
• 逐个遍历db，逐个遍历db中的bucket （每个db 中的 记录key过期时间的dict ），抽取20个key判断是否过期，过期了就进行删除，这个bucket 会进行保存，以便于下次遍历可以从上次遍历的结束位置继续进行；
• 如果抽取20key 执行删除过期key之后，没达到时间上限(25ms)并且过期key比例大于10%（认为还有比较大量的key 需要删除），再进行一次抽样进行删除；否则结束；

2 ）Redis的每个事件循环前会调用beforesleep()函数，执行过期key清理，模式为FAST，快速模式，高频少量清理每次耗时在1ms 之内：

FAST 模式特点：调用的频率比slow 要快

• 执行频率受beforeSleep()调用频率影响，但两次FAST模式间隔不低于2ms
  -执行清理耗时不超过1ms
  -逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期，有过期的进行删除
• 如果没达到时间上限(1ms)并且过期key比例大于10%，再进行一次抽样，否则结束；

1.1.5 Redis Key TTl 的存储：

Redis 使用一个内部的散列表（hash table）来存储所有设置了过期时间（TTL）的键以及其对应的绝对过期时间（Unix时间戳格式）。这就意味着，当你为一个键设置了过期时间，Redis 会在这个散列表里记录一个映射，键名到其过期的Unix时间戳。

数据检查：因为Redis存储的是绝对的过期时间戳，Redis 通过对当前时间（服务器时间）和键的过期时间戳进行比较来判断一个键是否过期：

• 如果当前时间大于或等于键的过期时间戳，那么该键被视为过期。
• 如果当前时间小于键的过期时间戳，那么该键还未过期。

二、内存淘汰时机：

上面讨论了通过对 key 设置TTL 达到在key 过期时删除key，但是当有大量是的数据进入到redis 时 此时 key 都没有过期，但是redis 为了避免达到内存上限，Redis会主动挑选部分key删除以释放更多内存的流程，即时这些key 没有过期；

2.1 redis 什么时候去检查内存阈值：

访问redis 进行增删改查，都去检查 redis 的内存阈值，如果达到阈值且没有执行lua 脚本，就进行内存淘汰，内存清理成功，则可以继续执行命令，如果内存清理失败，则直接拒绝执行命令：

2.2 Redis 调选哪些key 进行淘汰：

Redis 定义了8 中策略 进行key的筛选：

• noeviction: 不淘汰任何key，但是内存满时不允许写入新数据，默认就是这种策略。
• volatile-ttl: 对设置了TTL的key，比较key的剩余TTL值，TTL越小越先被淘汰
• allkeys-random: 对全体key ，随机进行淘汰。也就是直接从db->dict中随机挑选
• volatile-random:对设置了TTL的key，随机进行淘汰。也就是从db->expires中随机挑选
• allkeys-lru:对全体key，基于LRU算法进行淘汰
• volatile-lru:对设置了TTL的key，基于LRU算法进行淘汰
• allkeys-lfu:对全体key，基于LFU算法进行淘汰
• volatile-lfu:对设置了TTL的key，基于LFI算法进行淘汰

2.3 Key淘汰算法：

2.3.1 LRU:

LRU(Least Recently Used)，最少最近使用。用当前时间减去最后一次访河时间，这个值越大则淘汰优先级越高。这个key 多久没有被访问过了，根据这个时间进行淘汰；

2.3.2 LFU:

LFU (Least Frequently Used)，最少频率使用。会统计每个key的访问频率，值越小淘汰优先级越高。统计这个key 的访问次数，访问次数越小，则淘汰优先级越高； redis 如何统计一个key 最近访问的时间：， redis 如何统计一个key 访问的次数：

2.3.2.1 淘汰策略是LRU 时的数据结构：

通过key 的逻辑访问次数 来设置 key 的访问频次，但是逻辑访问次数 只有8位，最大只能存储255 ，显然在高并发的情况下并不满足：

2.3.2.2 逻辑访问次数计算逻辑：

• 生成0~1之间的随机数R
• 计算1/(key 旧的访问次数*lfu_log_factor +)，记录为P，lfu log_factor（可以在配置文件配置）默认为10
• 如果R<P，则计数器+1，且最大不超过255，第一次key的访问次数是0 所以p=1 ，此时R肯定小于P
  则计数加1；随后 再次访问key P的数据肯定小于0.1 此时的R 不一定小于P 则计数不会增加；频繁访问时 P 的值会随着减少；计数最大就是255；
• 访问次数会随时间衰减，距离上一次访问时间每隔 lfu decay time 分钟(默认1，可以在配置文件配置)，计数器-1

这样设计的逻辑次数上限就是255 ，并且会随着时间的推移进行递减；

2.3 淘汰策略流程图：

• 每次访问判断内存是否充足，充足则直接进行操作；
• 内存不充足 则判断内存淘汰策略，如果是不淘汰任何key 则 直接拒绝执行命令 ，直接返回；
• 如果是其它的策略，就要删除内存中的key，如果是从全部的key 随机删除，则从redis 每个库的 dict 进行随机淘汰；
• 如果不是全部key 则从每个db 去抽取一些样本（并不是根据LRU,LFU,TTL 进行排序）待淘汰的key，然后根据LRU,LFU,TTL 策略去筛选待淘汰的key，最后放入淘汰池，最后从淘汰池删除key ；

---

总结

Redis 内存中会采用各种策略来避免内存达到上限；处了定时任务 去清理已经过期的key ，当redis 内存达到上限 但是所以的key 都是有效时，redis 会通过 key 的淘汰策略 去筛选出一批合理的 key 进行删除 来释放内存 。