Redis原理篇（四）内存回收

Redis之所以性能强，最主要原因是基于内存存储。但是单节点的Redis其内存大小不宜过大，会影响持久化或主从同步性能。

可以通过配置文件来设置最大内存

# maxmemory <bytes>
maxmemory  1gb

一、过期策略

可以通过expire命令给Redis的key设置TTL

思考：
1、Redis是如何知道一个key是否过期？
答：利用两个Dict分别记录key-value对，及key-ttl对。从key-value中获取到key，再到key-ttl对中查询。

2、是不是TTL到期就立即删除了？
答：惰性删除和周期删除

1、DB结构

Redis本身是一个典型的key-value内存存储数据库，因此所有的key、value都保存在Dict结构中。有两个Dict：一个记录key-value；另一个记录key-TTL

2、惰性删除

（1）定义

不是在TTL到期后就立刻删除，而是在访问一个key的时候，检查该key的存活时间，如果已经过期才执行删除。

// 查找一个key执行写操作
robj *lookupKeywritewithFlags(redisDb *db, robj *key, int flags) {
	// 检查key是否过期
	expireIfNeeded(db , key);
	return lookupkey(db , key, flags);
// 查找一个key执行读操作
robj *lookupKeyReadwithFlags(redisDb *db, robj *key， int flags) {
	robi *val;
	// 检查key是否过期
	if (expireIfNeeded(db,key) == 1) {
		// ...略
	}
	return lookupKey(db ,key,flags);
}

int expireIfNeeded(redisDb *db, robj *key) {
    // 判断是否过期，如果未过期直接结束并返回0
	if (!keyIsExpired(db,key)) {
		return 0;
	} 
	// 删除过期key
	deleteExpiredKeyAndPropagate(db , key);
	return 1;
}

3、周期删除

（1）定义

通过一个定时任务，周期性的抽样部分过期的key，然后执行删除。执行周期有两种：

• Redis会设置一个定时任务serverCron()，按照server.hz的频率来执行过期key清理，模式为SLOW
• Redis的每个事件循环前会调用beforesleep0)函数，执行过期key清理，模式为FAST

SLOW源码

//server .c
void initServer(void){
	// 创建定时器，关联回调函数serverCron，处理周期取决于server,hz，默认10
	aeCreateTimeEvent(server.el，1，serverCron，NULL，NULL)
}

//server.c
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData){
	// 更新Lruclock到当前时间，为后期的LRU和LFU做准备
	unsigned int lruclock = getLRUClock();
	atomicSet(server.lruclock,lruclock);
	// 执行database的数据清理，例如过期key处理
	databasesCron();
	return 1000/server.hz:
}

void databasesCron(void) {
	// 尝试清理部分过期key，清理模默认为SLOW
	activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW);
}

FAST源码

void beforeSleep(struct aeEventLoop*eventLoop){
	// 尝试清理部分过期key，清理模式默认为FAST
	activeExpireCycle(ACTIVE_EXPIRE_CYCLE_FAST);
}

void aeMain(aeEventLoop *eventLoop) {
	eventLoop->stop = 0;
	while (!eventLoop->stop) {
		// beforesleep() --> Fast模式清理
		// n = aeApiPoll()
		//如果n > 0，FD就绪，处理IO事件
		//如果到了执行时间，则调用serverCron() --> SLOW模式清理

（2）模式规则

SLOw模式规则:

1. 执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期100ms。
2. 执行清理耗时不超过一次执行周期的25%.
3. 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
4. 如果没达到时间上限(25ms)并且过期key比例大于10%，再进行一次抽样，否则结束

FAST模式规则(过期key比例小于10%不执行):

1. 执行频率受beforeSleep()调用频率影响，但两次FAST模式间隔不低于2ms
2. 执行清理耗时不超过1ms
3. 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
4. 如果没达到时间上限(1ms)并且过期key比例大于10%，再进行一次抽样，否则结束

4、总结

1、RedisKey的TTL记录方式：
在RedisDB中通过一个Dict记录每个Key的TTL时间
2、过期key的删除策略:

1. 惰性删除:每次查找key时判断是否过期，如果过期则删除
2. 周期删除:定期抽样部分key，判断是否过期，如果过期则删除。

3、周期删除的两种模式：

1. SLOW模式执行频率默认为10，每次不超过25ms
2. FAST模式执行频率不固定，但两次间隔不低于2ms，每次耗时不超过1ms

二、内存淘汰策略

1、定义

内存淘汰：就是当Redis内存使用达到设置的阈值时，Redis主动挑选部分key删除以释放更多内存的流程。

（1）什么时候检查内存超出阈值？

答：任何Redis客户端命令执行时，都去检查内存，尝试做内存淘汰。

（2）如何挑选key

Redis支持8种不同策略来选择要删除的key：

策略	说明
noeviction	不淘汰任何key，但是内存满时不允许写入新数据，默认就是这种策略。
volatile-ttl	对设置了TTL的key，比较key的剩余TTL值，TTL越小越先被淘汰。
allkeys-random	对全体key，随机进行淘汰。也就是直接从db->dict中随机挑选。
volatile-random	对设置了TTL的key ，随机进行淘汰。也就是从db->expires中随机挑选。
allkeys-lru	对全体key，基于LRU算法进行淘汰。
volatile-lru	对设置了TTL的key，基于LRU算法进行淘汰。
allkeys-lfu	对全体key，基于LFU算法进行淘汰。
volatile-lfu	对设置了TTL的key，基于LFI算法进行淘汰。

比较容易混淆的有两个:

• LRU(Least Recently Used)：最少最近使用。用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高。
• LFU (Least Frequently Used)：最少频率使用。会统计每个key的访问频率，值越小淘汰优先级越高。

备注：
LFU的访问次数之所以叫做逻辑访问次数，是因为并不是每次key被访问都计数，而是通过运算:
1、生成0~1之间的随机数R
2、计算1/(旧次数*lfu_log_factor+ 1)，记录为P，lfu_log_factor默认为10
3、如果R<P，则计数器+1，且最大不超过255
4、访问次数会随时间衰减，距离上一次访问时间每隔lfu_decay_time 分钟(默认1)，计数器-1

修改策略

# conf配置文件
maxmemory-policy noeviction

2、淘汰策略流程