redis删除策略与逐出算法详解

一、redis删除策略

redis删除策略主要针对redis过期数据，过期数据的定义就是设置了有效性且到达了过期时间的数据。

ttl命令获取数据状态：

• 返回时间：具有有效时间的数据
• 返回-1 ：表示永久有效的数据
• 返回-2 : 表示已经过期的数据或被删除/未定义的数据。

redis时效性数据在内存中的存储结构大致如下：

1.1、定时删除

创建一个定时器，当key设置有过期时间，且过期时间到达时，由定时任务立即执行对键的删除操作，
即删除key和expires区域中对应的数据。

• 优点：节约内存,到时就删,快速释放掉不必要的内存占用；
• 缺点：CPU压力变大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器的响应时间和指令吞吐量；

用CPU换内存 用时间换空间

1.2、惰性删除

数据到期之后不做删除，等到下次访问该数据的时候检测是否过期，此时如果过期则删除数据（包括key和对应expires对应数据）

• 优点：节约CPU的性能,发现必须删除的时候才删除；
• 缺点：长期大量占用内存；

内存换CPU 用空间换时间

1.3、定期删除

redis启动服务器初始化时，读取配置server.hz的值，默认为10（可以通过连接redis客户端info server命令查看hz）

每秒执行server.hz次 服务器定时轮询 serverCorn()，对服务器内每一个数据库进行轮询databasesCron()，在数据库中执行

avtiveExpiresCycle()

avtiveExpiresCycle() 对每个expires[]进行逐一检测，每次执行250ms/server.hz ；对每个expires[] 检查时，随机挑选W个key检测

• 如果key超时，删除key。
• 如果一轮中删除的key的数量>W*25%，循环该过程。
• 如果一轮中删除的key的数量<=W*25%，检查下一个expires，默认从0-15循环检查。

参数current_db用于记录avtiveExpiresCycle()进入哪个expires执行，如果avtiveExpiresCycle()执行时间到期，下次从current_db继续向下执行。

W的取值= ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值，在redis源码中ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP是宏定义默认为20

部分源码如下：

void activeExpireCycle(int type) {
        ...
        do {
           ...
            if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)
                // 选过期键的数量，为 20
                num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;

            while (num--) {
                dictEntry *de;
                long long ttl;
                // 随机选 20 个过期键
                if ((de = dictGetRandomKey(db->expires)) == NULL) break;
                ...
                // 尝试删除过期键    
                if (activeExpireCycleTryExpire(db,de,now)) expired++;
                ...
            }
            ...
           // 只有过期键比例 < 25% 才跳出循环
        } while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);
    }
    ...
}

定期删除策略执行大致流程

定期删除总结：

• 周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度；
• cpu性能占用设置有峰值，检测频度可以自定义设置，内存压力不是很大，长期占用内存的冷数据会被持续清理，
• 显著特点：周期性抽查存储空间（随机抽查，重点抽查）

以上三种删除策略对比：

删除策略	内存	CPU	特点
定时删除	节约内存，无占用	不分时段占用CPU资源，频度高	拿时间换空间
惰性删除	内存占用严重	延时执行，CPU利用率高	拿空间换时间
定期删除	内存定期随机清理	每秒话费固定的CPU资源维护内存	随机抽查，重点抽查

二、redis逐出算法

引入新的问题，当新数据进入redis时，如果内存不足怎么办？

• Redis使用内存存储数据，在执行每一个命令之前，都会调用freeMemoryIfNeeded()检测内存是否充足，如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略成为逐出算法（淘汰算法）

• 逐出数据的过程不是100%能够清理出足够可用的内存空间，如果不成功则反复执行，当所有的数据尝试完毕后，如果不能达到内存清理的要求，会抛出异常

  (error) OOM command not allowed when used memory > 'maxmemory'
  

2.1、影响数据逐出的相关配置（redis.conf）

• 最大可使用内存

  maxmemory
  

  占用物理内存的比例，默认值是0，表示不限制。生产环境中根据需求设定，通常设置在50%以上

• 每次选取待删除数据的个数

  maxmemory-samples
  

  选取数据并不会全库扫描，导致严重的性能消耗，降低读写能力。因此采用随机获取数据的方式作为代检测删除数据。

• 删除策略

  maxmemory-policy
  

  达到最大内存后的，对被挑选出来的数据进行删除的策略。

2.2、八种内存置换策略

redis5.0为我们提供了八个不同的内存置换策略

# volatile-lru -> Evict using approximated LRU, only keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU, only keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key having an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don't evict anything, just return an error on write operations.

• 检测易失数据（可能会过期的数据集server.db[i].expires）
  1. valatile-lru：挑选最近最少使用的数据淘汰
  2. valatile-lfu：挑选最近使用次数最少的数据淘汰
  3. valatile-ttl：挑选将要过期的数据淘汰
  4. valatile-random：任意选择数据淘汰
• 检测全库数据
  5. allkeys-lru：挑选最近最少使用的数据淘汰
  6. allkeys-lfu：挑选将要过期的数据淘汰
• 放弃数据淘汰
  8. no-eviction：禁止驱逐数据(4.0之后默认策略)，会引发OOM（out of memory 内存溢出）

2.3 配置依据

使用INFO命令输出监控信息，查询缓存hit 和miss的次数，根据业务需求进行调优Redis配置