Redis的内存淘汰策略是怎么样的?

小徐很努力

已于 2024-03-23 11:09:19 修改

阅读量923

点赞数 16

分类专栏： Redis 文章标签： redis 数据库缓存

于 2024-03-15 07:45:00 首次发布

本文链接：https://blog.csdn.net/weixin_44543482/article/details/136720047

版权

Redis 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

淘汰策略

Redis 的内存淘汰策略用于在内存满了之后，决定哪些 key 要被删除。Redis 支持多种内存淘汰策略，可以通过面置文件中的 maxmemory-policy 参数来指定。
以下是 Redis 支持的内存淘汰策略

noeviction:不会淘汰任何键值对，而是直接返回错误信息，
allkeys-lru:从所有 key 中选择最近最少使用的那个 key 并删除。
volatile-lru:从设置了过期时间的 key 中选择最近最少使用的那个 key 并删除。
allkeys-random:从所有 key 中随机选择-个 key 并删除。
volatile-random:从设置了过期时间的 key 中随机选择一个 key 并删除。
volatile-tt1:从设置了过期时间的 key 中选择剩余时间最短的 key 并删除。
volatile-lfu:淘汰的对象是带有过期时间的键值对中，访问频率最低的那个。
allkeys-lfu:淘汰的对象则是所有键值对中，访问频率最低的那个。

缓存失效算法

缓存失效算法主要是进行缓存失效的，当缓存中的存储的对象过多时，需要通过一定的算法选择出需要被淘汰的对象，一个好的算法对缓存的命中率影响是巨大的。常见的缓存失效算法有FIFO、LRU、LFU，以及Caffeine中的Window TinyLFU算法。

1、FIFO

FIFO 算法是一种比较容易实现也最容易理解的算法。它的主要思想就是和队列是一样的，即先进先出(first InFirst Out)
般认为一个数据是最先进入的，那么可以认为在将来它被访问的可能性很小。
因为FIFO刚好符合队列的特性，所以通常FIFO的算法都是使用队列来实现的:

1.新数据插入到队列尾部，数据在队列中顺序移动,
2.淘汰队列头部的数据

2、LRU

LRU(The Least Recently Used，最近最少使用)是一种常见的缓存算法，在很多分布式缓存系统(如RedisMemcached)中都有广泛使用。
LRU算法的思想是:如果一个数据在最近一段时间没有被访问到，那么可以认为在将来它被访问的可能性也很小。
因此，当空间满时，最久没有访问的数据最先被淘汰。
最常见的实现是使用一个链表保存缓存数据，详细算法实现如下:

新数据插入到链表头部;
每当缓存命中，则将数据移到链表头部;
当链表满的时候，将链表尾部的数据丢弃,

3、LFU

LFU(Least Frequently Used ，最近最不常用)也是一种常见的缓存算法。
顾名思义，LFU算法的思想是:如果一个数据在最近一段时间很少被访问到，那么可以认为在将来它被访问的可能性也很小。因此，当空间满时，最小频率访问的数据最先被淘汰。
LFU的每个数据块都有一个引用计数，所有数据块按照引用计数排序，具有相同引用计数的数据块则按照时间排序。
具体实现如下:

新加入数据插入到队列尾部(因为引用计数为1);
队列中的数据被访问后，引用计数增加，队列重新排序:
当需要淘汰数据时，将已经排序的列表最后的数据块删除。

4、W-TinyLFU

LFU 通常能带来最佳的缓存命中率，但 LFU 有三个缺点:

它需要给每个记录项维护频率信息，每次访问都需要更新，需要一个巨大的空间记录所有出现过的 key 和其对应的频次;
如果数据访问模式随时间有变，LFU 的频率信息无法随之变化，因此早先频繁访问的记录可能会占据缓存而后期访问较多的记录则无法被命中;
如果一个刚加入缓存的元素，它的频率并不高，那么它可能会会直接被淘汰。

其中第一点过于致命导致我们通常不会使用 LFU。我们最常用的 LRU 实现简单，内存占用低，但其并不能反馈访问频率。LFU 通常需要较大的空间才能保证较好的缓存命中率。
W-TinyLFU是一种高效的缓存淘汰算法，它是TinyLFU算法的一种改进版本，主要用于处理大规模缓存系统中的淘汰问题。W-TinyLFU的核心思想是基于窗口的近似最少使用算法，即根据数据的访问模式动态地调整缓存中数据的淘汰策略。W-TinyLFU 综合了LRU和LFU的长处:高命中率、低内存占用。
W-TinyLFU由多个部分组合而成，包括窗口缓存、过滤器和主缓存

使用LRU来作为一个窗口缓存，主要是让元素能够有机会在窗口缓存中去积累它的频率，避免因为频率很低而直接被淘汰。
主缓存是使用SLRU，元素刚进入W-TinyLFU会在窗口缓存暂留一会，被挤出窗口缓存时，会在过滤器中和主缓存中最容易被淘汰的元素进行PK，如果频率大于主缓存中这个最容易被淘汰的元素，才能进入主缓存。

如何选择

以下是腾讯针对Redis的淘汰策略设置给出的建议:

当 Redis 作为缓存使用的时候，推荐使用 alkeys-lru 淘汰策略。该策略会将最近最少使用的 Key 淘汰。默认情况下，使用频率最低则后期命中的概率也最低，所以将其淘汰。
当 Redis 作为半缓存半持久化使用时，可以使用 volatile-lru。但因为 Redis 本身不建议保存持久化数据所以只作为备选方案。

阿里云Redis默认是volatile-lru(https://www.alibabacloud.com/help/zh/redis/user-guide/how-does.apsaradb-for-redis-evict-data-by-default )

腾讯云默认是noeviction，即不删除键。在内存占满后会出现 OOM 问题，所以建议创建好实例后修改淘汰策略，减少 OOM 问题的出现。(https://cloud.tencent.com/document/product/239/90960)