redis的内存策略
过期策略
通过exprie命令给key设置TTL
redis是如何知道一个key是否过期的?
在database结构体中,有两个Dict,一个用来记录key-value,一个用来记录key-TTL
typedef struct redisDb {
dict *dict; /* 存放所有key及value的地方,也被称为keyspace*/
dict *expires; /* 存放每一个key及其对应的TTL存活时间,只包含设置了TTL的key*/
dict *blocking_keys; /* Keys with clients waiting for data (BLPOP)*/
dict *ready_keys; /* Blocked keys that received a PUSH */
dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */
int id; /* Database ID,0~15 */
long long avg_ttl; /* 记录平均TTL时长 */
unsigned long expires_cursor; /* expire检查时在dict中抽样的索引位置. */
list *defrag_later; /* 等待碎片整理的key列表. */
} redisDb;
方法:利用两个Dict分别记录key-value对及key-ttl对
是不是TTL到期就立刻删除了呢?
(1)惰性删除
惰性删除:顾明思议并不是在TTL到期后就立刻删除,而是在访问一个key的时候,检查该key的存活时间,如果已经过期才执行删除。
// 查找一个key执行写操作
robj *lookupKeyWriteWithFlags(redisDb *db, robj *key, int flags) {
// 检查key是否过期
expireIfNeeded(db,key);
return lookupKey(db,key,flags);
}
// 查找一个key执行读操作
robj *lookupKeyReadWithFlags(redisDb *db, robj *key, int flags) {
robj *val;
// 检查key是否过期
if (expireIfNeeded(db,key) == 1) {
// ...略
}
return NULL;
}
int expireIfNeeded(redisDb *db, robj *key) {
// 判断是否过期,如果未过期直接结束并返回0
if (!keyIsExpired(db,key)) return 0;
// ... 略
// 删除过期key
deleteExpiredKeyAndPropagate(db,key);
return 1;
}
(2)周期删除
周期删除:顾明思议是通过一个定时任务,周期性的抽样部分过期的key,然后执行删除。执行周期有两种:
(1)Redis服务初始化函数initServer()中设置定时任务,按照server.hz的频率来执行过期key清理,模式为SLOW
(2)Redis的每个事件循环前会调用beforeSleep()函数,执行过期key清理,模式为FAST
// server.c
void initServer(void){
// ...
// 创建定时器,关联回调函数serverCron,处理周期取决于server.hz,默认10
aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL)
}
初始化1ms以后执行serverCron
// server.c
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
// 更新lruclock到当前时间,为后期的LRU和LFU做准备
unsigned int lruclock = getLRUClock();
atomicSet(server.lruclock,lruclock);
// 执行database的数据清理,例如过期key处理
databasesCron();
return 1000/server.hz;
}
1000/server.hz=1000/10=100ms
除了初始化的时候执行一次,后面每隔100ms执行一次
void databasesCron(void) {
// 尝试清理部分过期key,清理模式默认为SLOW
activeExpireCycle(
ACTIVE_EXPIRE_CYCLE_SLOW);
}
void beforeSleep(struct aeEventLoop *eventLoop){
// ...
// 尝试清理部分过期key,清理模式默认为FAST
activeExpireCycle(
ACTIVE_EXPIRE_CYCLE_FAST);
}
void aeMain(aeEventLoop *eventLoop){
eventLoop->stop=0;
while(!eventLoop->stop){
//beforeSleep()--->Fast模式清理(一般在1ms以内,非常快)
//n = aeApiPoll() -->相当于epoll_wait
//如果n>0,FD就绪,处理IO事件
//如果到了执行时间,则调用serverCron()-->SLOW模式清理(可能会耗时几十毫秒)
}
}
SLOW模式规则:
(1)执行频率受server.hz影响,默认为10,即每秒执行10次,每个执行周期100ms。
(2)执行清理耗时不超过一次执行周期的25%.默认slow模式耗时不超过25ms
(3)逐个遍历db,逐个遍历db中的bucket,抽取20个key判断是否过期
(4)如果没达到时间上限(25ms)并且过期key比例大于10%,再进行一次抽样,否则结束
(5)如果还没到时间,但是过期key的比例已经小于10%,也会结束
FAST模式规则(过期key比例小于10%不执行 ):
(1)执行频率受beforeSleep()调用频率影响,但两次FAST模式间隔不低于2ms
(2)执行清理耗时不超过1ms
(3)逐个遍历db,逐个遍历db中的bucket,抽取20个key判断是否过期
(4)如果没达到时间上限(1ms)并且过期key比例大于10%,再进行一次抽样,否则结束
总结:
RedisKey的TTL记录方式:
在RedisDB中通过一个Dict记录每个Key的TTL时间
过期key的删除策略:
(1)惰性清理:每次查找key时判断是否过期,如果过期则删除
(2)定期清理:定期抽样部分key,判断是否过期,如果过期则删除。
定期清理的两种模式:
(1)SLOW模式执行频率默认为10,每次不超过25ms
(2)FAST模式执行频率不固定,但两次间隔不低于2ms,每次耗时不超过1ms
淘汰策略
内存淘汰:就是当Redis内存使用达到设置的上限时,主动挑选部分key删除以释放更多内存的流程。Redis会在处理客户端命令的方法**processCommand()**中尝试做内存淘汰:
在任何命令执行之前做内存的检查。
int processCommand(client *c) {
// 如果服务器设置了server.maxmemory属性,并且并未有执行lua脚本
if (server.maxmemory && !server.lua_timedout) {
// 尝试进行内存淘汰performEvictions
int out_of_memory = (performEvictions() == EVICT_FAIL);
// ...
if (out_of_memory && reject_cmd_on_oom) {
rejectCommand(c, shared.oomerr);//拒绝命令
return C_OK;
}
// ....
}
}
Redis支持8种不同策略来选择要删除的key:
(1)noeviction: 不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略。
(2)volatile-ttl: 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰
(3)allkeys-random:对全体key ,随机进行淘汰。也就是直接从db->dict中随机挑选
(4)volatile-random:对设置了TTL的key ,随机进行淘汰。也就是从db->expires中随机挑选。
(5)allkeys-lru: 对全体key,基于LRU算法进行淘汰
(6)volatile-lru: 对设置了TTL的key,基于LRU算法进行淘汰
(7)allkeys-lfu: 对全体key,基于LFU算法进行淘汰
(8)volatile-lfu: 对设置了TTL的key,基于LFI算法进行淘汰
可以在配置文件中调教淘汰策略:
比较容易混淆的有两个:
LRU(Least Recently Used),最少最近使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
LFU(Least Frequently Used),最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。
Redis的数据都会被封装为RedisObject结构:
typedef struct redisObject {
unsigned type:4; // 对象类型
unsigned encoding:4; // 编码方式
unsigned lru:LRU_BITS; // LRU:以秒为单位记录最近一次访问时间,长度24bit
// LFU:高16位以分钟为单位记录最近一次访问时间,低8位记录逻辑访问次数
int refcount; // 引用计数,计数为0则可以回收
void *ptr; // 数据指针,指向真实数据
} robj;
LFU的访问次数之所以叫做逻辑访问次数,是因为并不是每次key被访问都计数,而是通过运算:
(1)生成0~1之间的随机数R
(2)计算 (旧次数 * lfu_log_factor + 1),记录为P
(3)如果 R < P ,则计数器 + 1,且最大不超过255
(4)访问次数会随时间衰减,距离上一次访问时间每隔 lfu_decay_time 分钟,计数器 -1