目录
1.数据库有1000万数据 ,Redis只能缓存20w数据, 如何保证Redis中的数据都是热点数据 ?
数据过期策略
抛砖引玉,我们先思考这样一个问题
假如redis的key过期之后,会立即删除吗?
set name nuc 10
Redis对数据设置数据的有效时间,数据过期以后,就需要将数据从内存中删除掉。可以按照不同的规则进行删除,这种删除规则就被称之为数据的删除策略(数据过期策略)。
在Redis当中,数据过期策略分为两种分别是惰性删除和定期删除。
惰性删除
设置该key过期时间后,我们不去管它,当需要该key时,我们在检查其是否过期,如果过期,我们就删掉它,反之返回该key
set name zhangsan 10
get name //发现name过期了,直接删除key
优点 :对CPU友好,只会在使用该key时才会进行过期检查,对于很多用不到的key不用浪费时间进行过期检查
缺点 :对内存不友好,如果一个key已经过期,但是一直没有使用,那么该key就会一直存在内存中,内存永远不会释放
定期删除
每隔一段时间,我们就对一些key进行检查,删除里面过期的key(从一定数量的数据库中取出一定数量的随机key进行检查,并删除其中的过期key)。
定期清理有两种模式:
SLOW模式是定时任务,执行频率默认为10hz(每秒执行10次),每次不超过25ms,以通过修改配置文件redis.conf 的hz选项来调整这个次数
FAST模式执行频率不固定,但两次间隔不低于2ms,每次耗时不超过1ms
优点:可以通过限制删除操作执行的时长和频率来减少删除操作对 CPU 的影响。另外定期删除,也能有效释放过期键占用的内存。
缺点:难以确定删除操作执行的时长和频率。
如果执行的太频繁,对CPU不太友好,如果执行的太少,又和惰性删除一样,过期的数据不会及时的释放
Redis的过期删除策略:惰性删除 + 定期删除两种策略进行配合使用
面试回答
面试官:Redis的数据过期策略有哪些 ?
候选人:在redis中提供了两种数据过期删除策略 第一种是惰性删除,在设置该key过期时间后,我们不去管它,当需要该key 时,我们在检查其是否过期,如果过期,我们就删掉它,反之返回该key。
第二种是 定期删除,就是说每隔一段时间,我们就对一些key进行检查,删 除里面过期的key 定期清理的两种模式: SLOW模式是定时任务,执行频率默认为10hz,每次不超过25ms,以通过修改配 置文件redis.conf 的 hz 选项来调整这个次数 FAST模式执行频率不固定,每次事件循环会尝试执行,但两次间隔不低于2ms, 每次耗时不超过1ms
Redis的过期删除策略是,惰性删除 + 定期删除两种策略进行配合使用。
数据淘汰策略
假如缓存过多,内存是有限的,内存被占满了怎么办?
当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉,这种数据的删除规则被称之为内存的淘汰策略。
8种淘汰策略
Redis支持8种不同策略来选择要删除的key:
- noeviction: 不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略。
- volatile-ttl: 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰
- allkeys-random:对全体key ,随机进行淘汰。
- volatile-random:对设置了TTL的key ,随机进行淘汰。
- allkeys-lru: 对全体key,基于LRU算法进行淘汰
- volatile-lru: 对设置了TTL的key,基于LRU算法进行淘汰
- allkeys-lfu: 对全体key,基于LFU算法进行淘汰
- volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰
数据淘汰策略-使用建议
1.优先使用 allkeys-lru 策略。充分利用 LRU 算法的优势,把最近最常访问的数据留在缓存中。如果业务有明显的冷热数据区分,建议使用。
1.1为什么不用LFU呢?
因为访问频率不一定能准确的反映数据的热度,比如某个数据只在某个时间段内,被访问多次,在其他时间段很少访问,那么这个时候,如果只通过数据访问频率来判断数据热度,可能会出现误判
2.如果业务中数据访问频率差别不大,没有明显冷热数据区分,建议使用 allkeys-random,随机选择淘汰
3.如果业务中有置顶的需求,可以使用 volatile-lru 策略,同时置顶数据不设置过期时间,这些数据就一直不被删除,会淘汰其他设置过期时间的数据。
4.如果业务中有短时高频访问的数据,可以使用 allkeys-lfu 或 volatile-lfu 策略。
小测试
1.数据库有1000万数据 ,Redis只能缓存20w数据, 如何保证Redis中的数据都是热点数据 ?
-
基于LRU算法的缓存淘汰机制:将Redis中最近最少使用的数据从内存中淘汰,以腾出空间给新的热点数据。
-
按照访问频率分层缓存:将热点数据存储在Redis中,而将冷数据存储在类似于MySQL或MongoDB这种的关系型数据库中,以确保Redis中的数据都是主要的热点数据,不会占用太多内存。
-
使用Redis的过期键(expire)和定期过期(TTL)机制,将数据缓存在Redis中,并设置过期时间,确保数据能够在缓存时保持新鲜且不过期。
2.Redis的内存用完了会发生什么?
主要看数据淘汰策略是什么?如果是默认的配置( noeviction ),会直接报错
-
Redis会使用操作系统提供的虚拟内存机制将数据存储到磁盘上,如果开启了swap分区,Redis会将部分数据存储在swap中。但是,不建议过度依赖swap,因为磁盘IO速度较低,会严重影响Redis的性能。
-
Redis中的部分数据可能会被自动清理。在Redis中,可以通过配置maxmemory选项来限制Redis使用的最大内存量。当Redis的内存用量达到maxmemory的值时,Redis会尝试清理内存中已经过期的键来释放内存空间。如果过期键不足以释放内存空间,Redis将使用LRU(最近最少使用)算法清理最近最少使用的键,以释放空间给新的数据。这些清理策略都会导致数据丢失,因此需要谨慎处理。
-
当Redis无法申请更多内存时,它将停止接受写入请求,并进入"out of memory"状态。在此状态下,Redis只接受读取和删除请求,并拒绝所有写请求,这将会导致应用程序出现异常,可能会影响业务、造成数据不一致等问题。
面试回答
面试官:Redis的数据淘汰策略有哪些 ?
候选人: 嗯,这个在redis中提供了很多种,默认是noeviction,不删除任何数据,内 部不足直接报错,但是淘汰策略是可以在redis的配置文件中进行设置的,
里面有两个非常重要的概念,一个 是LRU,另外一个是LFU LRU的意思就是最少最近使用,用当前时间减去最后一次访问时间,这个值 越大则淘汰优先级越高。 LFU的意思是最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高,
我们在项目设置的allkeys-lru,挑选最近最少使用的数据淘汰,把一些经常访问的key留在redis中