目录
4.2.1 allkeys- LRU(有明显冷热数据区分)常用
4.2.2 allkeys-random(没有明显冷热数据区分)
4.2.3 volatile-LRU(数据有置顶的需求,例如排行榜、计数器等场景)
4.2.4 allkeys-LFU 或 volatile-LFU(有短时高频访问数据)
4.3.3 如何对 Volatile-Lru 进行性能优化?
5.2 数据库有1000万数据 ,Redis只能缓存20w数据, 如何保证Redis中的数据都是热点数据 ?
5.3 Redis的内存用完了会发生什么?(假如缓存过多,内存是有限的,内存被占满了怎么办?)
1. 面试问题引入
- 面试官:假如缓存过多,内存是有限的,内存被占满了怎么办?
- 数据库有1000万数据 ,Redis只能缓存20w数据, 如何保证Redis中的数据都是热点数据 ?
- Redis的内存用完了会发生什么?
2. 数据淘汰策略定义
当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉,这种数据的删除规则被称之为内存的淘汰策略。
3. Redis 数据过期后的删除策略是什么?
Redis 数据过期主要有两种删除策略,分别为定期删除、惰性删除两种:
- 定期删除:Redis 每隔一定时间(默认是 100 毫秒)会随机检查一定数量的键,如果发现过期键,则将其删除。这种方式能够在后台持续清理过期数据,防止内存膨胀。
- 惰性删除:在每次访问键时,Redis 检查该键是否已过期,如果已过期,则将其删除。这种策略保证了在使用过程中只删除不再需要的数据,但在不访问过期键时不会立即清除。
3.1 定期删除细节
定期删除策略是 Redis 内部的一个定时任务,周期性(每 100ms)地扫描一些设置了过期时间的键。
要注意,Redis 并不会一次性扫描所有设置了过期时间的键,因为这样会消耗大量的 CPU 资源。它会在每次扫描时限制扫描的时间和数量,以避免对性能产生过大的影响,因此可能会有部分键过期了没有被及时删除。
每次获取 20 个 key 判断是否过期,如果发现过期的 key 占比超过 25% 则继续再拉 20 个,如果小于 25% 则停止。这里还有一个时间限制,即一次删除时间不超过 25ms,即如果发现占比超过 25% 的时候,需要判断目前是否已经花了 25ms,如果已经用了这么多时长也会结束。
3.2 惰性删除优缺点
- 优点:可以减少 CPU 的占用,因为只有查询到了相关的数据才执行删除操作,不需要主动去定时删除。
- 缺点:如果一直没有查询一个 Key,就有可能不会被删除,这样就容易造成内存泄漏问题。
除了这两个删除,还有一个机制也会淘汰 keyRedis 内存使用达到设置的 maxmemory 限制时,会触发内存回收机制。此时会主动删除一些过期键和其他不需要的键,以释放内存。具体的删除策略(数据淘汰策略)有以下8种:
4. 八种数据淘汰策略
Redis支持8种不同策略来选择要删除的key:
noeviction: 不淘汰任何key,但是内存满时不允许写入新数据但报错, 默认就是这种策略。
volatile-ttl: 对设置了TTL(过期时间)的key,比较key的剩余TTL值,TTL越小越先被淘汰
allkeys-random:对全体key ,随机进行淘汰。
volatile-random:对设置了TTL(过期时间)的key ,随机进行淘汰。
allkeys-lru: 对全体key,基于LRU算法进行淘汰
volatile-lru: 对设置了TTL(过期时间)的key,基于LRU算法进行淘汰
allkeys-lfu: 对全体key,基于LFU算法进行淘汰
volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰
4.1 LRU和LFU算法定义
LRU(Least Recently Used)最近最少使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
例如:key1是在3s之前访问的, key2是在9s之前访问的,删除的就是key2
LFU(Least Frequently Used)最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。
例如:key1最近5s访问了4次, key2最近5s访问了9次, 删除的就是key1
4.2 使用建议
4.2.1 allkeys- LRU(有明显冷热数据区分)常用
如果业务有明显的冷热数据区分,建议使用 allkeys- LRU 策略,把最近最常访问的数据留在缓存中。
为什么allkeys-LFU策略不一定能把最近最常访问的数据留下来呢?因为可能存在在某个时间段访问频率很高的数据,其余时间很少访问,这部分数据不是最近最常访问的数据,但是会被LFU策略留下来。
4.2.2 allkeys-random(没有明显冷热数据区分)
如果业务中数据访问频率差别不大,没有明显冷热数据区分,建议使用 allkeys-random,随机选择淘汰。
4.2.3 volatile-LRU(数据有置顶的需求,例如排行榜、计数器等场景)
适用于有明显热点数据和临时数据的场景,同时对于那些需要长期保留的置顶数据,可以通过不设置过期时间来实现保留。
4.2.4 allkeys-LFU 或 volatile-LFU(有短时高频访问数据)
如果业务中有短时高频访问的数据,可以使用 allkeys-lfu 或 volatile-lfu 策略。
4.3 详谈volatile-LRU
4.3.1 Volatile-Lru 是什么?
Volatile-Lru(可变 LRU)是一种 Redis 中的数据结构,用于实现键值对的缓存。它将最近最少使用(Least Recently Used,LRU)的数据替换为较不经常使用的数据,从而节省内存空间。Volatile-Lru 数据结构在 Redis 中的使用非常广泛,例如在缓存、排行榜、计数器等场景中都有应用。
4.3.2 Volatile-Lru 的工作原理
Volatile-Lru 的工作原理基于 Redis 中的 LRU 算法。当一个键值对被写入 Redis 时,首先会将其添加到 LRU 链表的头部。然后,Redis 会周期性地检查 LRU 链表,将最不经常使用的数据替换为较不经常使用的数据。这个过程被称为“volatility”,即“可变”。
在 Volatile-Lru 中,Redis 维护了一个双向链表,分别用于存储最近最少使用(frequent)和最不经常使用(infrequent)的键值对。当一个键值对被写入 Redis 时,首先将其添加到双向链表的头部。然后,Redis 会将双向链表中的数据进行遍历,将最不经常使用的数据替换为较不经常使用的数据。这个过程会持续进行,直到双向链表达到一定的大小。
4.3.3 如何对 Volatile-Lru 进行性能优化?
虽然 Volatile-Lru 是 Redis 中的一个重要功能,但它在某些场景下可能会导致性能下降。为了提高 Volatile-Lru 的性能,我们可以采取以下几种策略:
1. 调整 LRU 算法的时间间隔:Redis 中的 LRU 算法会周期性地检查 LRU 链表,将最不经常使用的数据替换为较不经常使用的数据。我们可以通过调整 LRU 算法的时间间隔来减少检查的频率,从而提高性能。
2. 减少 Volatile-Lru 双向链表的大小:Redis 中的 Volatile-Lru 双向链表用于存储最近最少使用(frequent)和最不经常使用(infrequent)的键值对。我们可以通过减少双向链表的大小来提高性能,例如将双向链表的大小设置为 100 或 200。
3. 使用 LRU 压缩算法:Redis 提供了 LRU 压缩算法,可以有效地减少 LRU 链表的大小。我们可以使用 LRU 压缩算法来提高 Volatile-Lru 的性能。
5. 面试题
5.1 Redis的数据淘汰策略有哪些?
redis中提供了很多种数据淘汰策略,默认是noeviction,不删除任何数据,内部不足直接报错
redis数据淘汰策略是可以在redis的配置文件中进行设置的,里面有两个非常重要的概念,一个是LRU,另外一个是LFU
LRU的意思就是最少最近使用,用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
LFU的意思是最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高
我在项目设置的是allkeys-lru,挑选最近最少使用的数据淘汰,把一些经常访问的key留在redis中
5.2 数据库有1000万数据 ,Redis只能缓存20w数据, 如何保证Redis中的数据都是热点数据 ?
使用allkeys-lru(挑选最近最少使用的数据淘汰)淘汰策略,留下来的都是经常访问的热点数据
5.3 Redis的内存用完了会发生什么?(假如缓存过多,内存是有限的,内存被占满了怎么办?)
主要看数据淘汰策略是什么,(数据淘汰策略,指的就是当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉。)如果使用的是默认的配置noeviction 淘汰策略( 不淘汰任何key,但是内存满时不允许写入新数据),内存不足时,写入则会直接报错