天猫二面：内存耗尽后 Redis 会发生什么？

Java攻城尸

于 2024-04-21 00:11:14 发布

阅读量780

点赞数 25

分类专栏：程序员文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/z1667002/article/details/138016062

版权

程序员专栏收录该内容

572 篇文章 0 订阅

订阅专栏

dict *watched_keys; //WATCHED keys

int id; //Database ID

//… 省略了其他属性

} redisDb;

8 种淘汰策略

假如 Redis 当中所有的键都没有过期，而且此时内存满了，那么客户端继续执行 set 等命令时 Redis 会怎么处理呢？Redis 当中提供了不同的淘汰策略来处理这种场景。

首先 Redis 提供了一个参数 maxmemory 来配置 Redis 最大使用内存：

maxmemory

或者也可以通过命令 config set maxmemory 1GB 来动态修改。

如果没有设置该参数，那么在 32 位的操作系统中 Redis 最多使用 3GB内存，而在 64 位的操作系统中则不作限制。

Redis 中提供了 8 种淘汰策略，可以通过参数 maxmemory-policy 进行配置：

| 淘汰策略 | 说明 |

| — | — |

| volatile-lru | 根据 LRU 算法删除设置了过期时间的键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| allkeys-lru | 根据 LRU 算法删除所有的键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| volatile-lfu | 根据 LFU 算法删除设置了过期时间的键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| allkeys-lfu | 根据 LFU 算法删除所有的键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| volatile-random | 随机删除设置了过期时间的键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| allkeys-random | 随机删除所有键，直到腾出可用空间。如果没有可删除的键对象，且内存还是不够用时，则报错 |

| volatile-ttl | 根据键值对象的 ttl 属性，删除最近将要过期数据。如果没有，则直接报错 |

| noeviction | 默认策略，不作任何处理，直接报错 |

PS：淘汰策略也可以直接使用命令 config set maxmemory-policy <策略>来进行动态配置。

LRU 算法

LRU 全称为：Least Recently Used。即：最近最长时间未被使用。这个主要针对的是使用时间。

Redis 改进后的 LRU 算法

在 Redis 当中，并没有采用传统的 LRU 算法，因为传统的 LRU 算法存在 2 个问题：

需要额外的空间进行存储。
可能存在某些 key 值使用很频繁，但是最近没被使用，从而被 LRU算法删除。

为了避免以上 2 个问题，Redis 当中对传统的 LRU 算法进行了改造，通过抽样的方式进行删除。

配置文件中提供了一个属性 maxmemory_samples 5，默认值就是 5，表示随机抽取 5 个 key 值，然后对这 5 个 key 值按照 LRU 算法进行删除，所以很明显，key 值越大，删除的准确度越高。

对抽样 LRU 算法和传统的 LRU 算法，Redis 官网当中有一个对比图：

浅灰色带是被删除的对象。
灰色带是未被删除的对象。
绿色是添加的对象。

在这里插入图片描述

左上角第一幅图代表的是传统 LRU 算法，可以看到，当抽样数达到 10个（右上角），已经和传统的 LRU 算法非常接近了。

Redis 如何管理热度数据

前面我们讲述字符串对象时，提到了 redisObject 对象中存在一个 lru属性：

typedef struct redisObject {

unsigned type:4;//对象类型（4位=0.5字节）

unsigned encoding:4;//编码（4位=0.5字节）

unsigned lru:LRU_BITS;//记录对象最后一次被应用程序访问的时间（24位=3字节）

int refcount;//引用计数。等于0时表示可以被垃圾回收（32位=4字节）

void *ptr;//指向底层实际的数据存储结构，如：SDS等(8字节)

} robj;

lru 属性是创建对象的时候写入，对象被访问到时也会进行更新。正常人的思路就是最后决定要不要删除某一个键肯定是用当前时间戳减去 lru，差值最大的就优先被删除。但是 Redis 里面并不是这么做的，Redis 中维护了一个全局属性 lru_clock，这个属性是通过一个全局函数 serverCron 每隔 100 毫秒执行一次来更新的，记录的是当前 unix 时间戳。

最后决定删除的数据是通过 lru_clock 减去对象的 lru 属性而得出的。那么为什么 Redis 要这么做呢？直接取全局时间不是更准确吗？

这是因为这么做可以避免每次更新对象的 lru 属性的时候可以直接取全局属性，而不需要去调用系统函数来获取系统时间，从而提升效率（Redis当中有很多这种细节考虑来提升性能，可以说是对性能尽可能的优化到极致）。

不过这里还有一个问题，我们看到，redisObject 对象中的 lru 属性只有 24 位，24 位只能存储 194 天的时间戳大小，一旦超过 194 天之后就会重新从 0 开始计算，所以这时候就可能会出现 redisObject 对象中的 lru 属性大于全局的 lru_clock 属性的情况。

正因为如此，所以计算的时候也需要分为 2 种情况：

当全局 lruclock > lru，则使用 lruclock - lru 得到空闲时间。
当全局 lruclock < lru，则使用 lruclock_max（即 194 天） -lru + lruclock 得到空闲时间。

需要注意的是，这种计算方式并不能保证抽样的数据中一定能删除空闲时间最长的。这是因为首先超过 194 天还不被使用的情况很少，再次只有 lruclock 第 2 轮继续超过 lru 属性时，计算才会出问题。

比如对象 A 记录的 lru 是 1 天，而 lruclock 第二轮都到 10 天了，这时候就会导致计算结果只有 10-1=9 天，实际上应该是 194+10-1=203天。但是这种情况可以说又是更少发生，所以说这种处理方式是可能存在删除不准确的情况，但是本身这种算法就是一种近似的算法，所以并不会有太大影响。

LFU 算法

LFU 全称为：Least Frequently Used。即：最近最少频率使用，这个主要针对的是使用频率。这个属性也是记录在redisObject 中的 lru 属性内。

当我们采用 LFU 回收策略时，lru 属性的高 16 位用来记录访问时间（last decrement time：ldt，单位为分钟），低 8 位用来记录访问频率（logistic counter：logc），简称 counter。

访问频次递增

LFU 计数器每个键只有 8 位，它能表示的最大值是 255，所以 Redis使用的是一种基于概率的对数器来实现 counter 的递增。r

给定一个旧的访问频次，当一个键被访问时，counter 按以下方式递增：

提取 0 和 1 之间的随机数 R。
counter - 初始值（默认为 5），得到一个基础差值，如果这个差值小于 0，则直接取 0，为了方便计算，把这个差值记为 baseval。
概率 P 计算公式为：1/(baseval * lfu_log_factor + 1)。
如果 R < P 时，频次进行递增（counter++）。
公式中的 lfu_log_factor 称之为对数因子，默认是 10 ，可以通过参数来进行控制：

lfu_log_factor 10

下图就是对数因子 lfu_log_factor 和频次 counter 增长的关系图：

在这里插入图片描述

可以看到，当对数因子 lfu_log_factor 为 100 时，大概是 10M（1000万）次访问才会将访问 counter 增长到 255，而默认的 10 也能支持到 1M（100万）次访问 counter 才能达到 255 上限，这在大部分场景都是足够满足需求的。

访问频次递减
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

分享一些资料给大家，我觉得这些都是很有用的东西，大家也可以跟着来学习，查漏补缺。

《Java高级面试》

《Java高级架构知识》

《算法知识》

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
-WeviaFEj-1713629458913)]

《Java高级架构知识》

[外链图片转存中…(img-eV3wlzdB-1713629458913)]

《算法知识》

[外链图片转存中…(img-B7lBpSsp-1713629458914)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

Java攻城尸

关注

25
点赞
踩
29

收藏

觉得还不错? 一键收藏
0
评论
天猫二面：内存耗尽后 Redis 会发生什么？

分享一些资料给大家，我觉得这些都是很有用的东西，大家也可以跟着来学习，查漏补缺。《Java高级面试》《Java高级架构知识》《算法知识》《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！《Java高级架构知识》[外链图片转存中…(img-eV3wlzdB-1713629458913)]《算法知识》[外链图片转存中…(img-B7lBpSsp-1713629458914)]
复制链接

扫一扫