【Redis笔记】一起学习Redis | 聊聊Redis的数据过期删除策略？

最新推荐文章于 2024-08-09 14:28:14 发布
最新推荐文章于 2024-08-09 14:28:14 发布
阅读量986 收藏 10
点赞数 5
分类专栏： Redis 文章标签： Redis Redis过期策略 Redis删除策略 Redis删除数据 Redis过期
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snailmann/article/details/97389491
版权

一起学习Redis | 聊聊Redis的数据过期删除策略？

如果觉得对你有帮助，能否点个赞或关个注，以示鼓励笔者呢？！博客目录 | 先点这里

学习Redis的内存淘汰算法之前，我们可以先了解Redis的数据过期删除策略

  • 前提概要

    • 删除？

  • 数据过期删除策略

    • 定时删除
    • 惰性删除

  • 相关问题

    • 所以假如一个Redis实例中的海量key在同一时间过期了，会出现什么样的结果呢?
    • 有时候使用dbsize查询出来的数量，比实际的数据量要多一些？

前提概要

删除？

Redis的所有数据本质上就是存储在一个巨型字典里。我们可以对该字典的所有key设置一个过期时间，时间一到，该key及对应的数据就会被自动删除。所以你可以简单的想象成，Redis内部有一个地府衙门，黑白无常时刻的盯着设置了过期时间的数据，检查它们的寿命还剩多少，一旦发现寿命到期，就将其带走！

在这里插入图片描述
同时，毕竟黑白无常就那么两个人，如果有一天，有大量的数据同时寿命到期，黑白无常会不会忙不过来？也就是说，Redis是一个单线程模型的进程，删除数据本身也占据一定的时间，会不会因为大量的删除操作而阻塞了正常的业务操作呢？

这个当然会呀，但是在了解结果之前，我们要先来了解一下Redis的数据过期删除策略


数据过期删除策略

定时删除

什么是定期删除？

  • 定期删除又称集中删除，主动删除。既Redis会给每个设置了过期时间的Key放到一个独立的字典中。我们成为过期数据字典。以后Redis会定时的遍历这个字典的所有Key, 统一检查数据寿命，只要发现过期数据就会立即删除
  • Redis默认每秒进行10次的过期扫描，既每100ms就扫描一次。但这些过期扫描并不会遍历整个过期数据字典, 而是采用一种贪心策略的方式，每次只扫描一部分
  • 为什么是抽检而不是整体呢？如果你有10w的过期键，如果你对整体进行遍历查询，时间复杂度是O(n)， 这么这一次遍历，单线程的Redis就会被你这个操作直接卡顿，其他的业务操作也不用做了。

定期删除的贪心策略

  • 从过期数据字典中随机选出20个key
  • 删除这20个key中已经过期的key
  • 如果过期的key的比例超过了1/4, 那就重复步骤1
  • 同时为了保证过期扫描不会循环过度，导致线程卡死，算法还增加了扫描时间的最大上限，默认不超过25ms
惰性删除

那么什么是惰性删除呢？

  • 惰性删除也称为，零散删除，被动删除
  • 因为定期删除每次只会扫描一部分的过期数据字典，所以有可能会导致一部分的过期数据被遗留下来，没有得到及时删除。所以惰性删除就是作为一种定期删除不足的补救措施，当你在获取某个key的时候，Redis会先检查一下，如果该key设置了过期时间，并已经过期，那么Redis再会删除该数据。既用到时判断，过期就删除，这也就是为什么称为惰性删除
  • 只有key被操作时，Redis才会被动检查该key是否过期，如果过期则删除之并且返回nil。
  • 如果定时删除留下的过期key过多，而惰性删除又没有触发，此时内存告警，就会走内存淘汰策略

惰性删除的优缺点

  • 惰性删除，可以弥补定时删除留下的漏洞，保证过期数据不会被客户端使用到
  • 惰性删除对CPU是友好的，删除操作只有在不得不的情况下才会进行，不白白浪费宝贵的CPU资源。
  • 但是惰性删除会造成一定的无用数据的内存空间占用，既无用数据占用了宝贵的内存空间资源，等同浪费

相关问题

所以假如一个Redis实例中的海量key在同一时间过期了，会出现什么样的结果呢?
  • Redis会持续扫描过期字典，循环多次，知道过期字典中的过期的key占比降低，才会停止。这就导致线程读写请求出现明显的卡顿现象。
  • 当客户端有请求过来时，如果服务器正好进入过期扫描状态，那么客户端的请求将可能会等待25ms后，才能得到处理。会导致业务请求有明显的延时
  • 所以业务开发人员一定要注意过期时间，避免让同一时间出现大量的key过期。可以通过给过期实际一个随机数范围去避免
  • 其实这本质就是Redis的缓存雪崩危机，这里仅仅是从Redis本身的角度分析，如果缓存雪崩危机严重的话，很有可能会造成数据库的宕机，乃至系统的不可用！
有时候使用dbsize查询出来的数量，比实际的数据量要多一些？

有一个场景如下

  • 通过dbsize命令查询Redis有多少的数据量, 得到34578
  • 通过redis-cli keys * | wc -l查询Redis中实际的数据量，得到30015

为什么dbszie查到的数据量会比keys *得到的数据量要多呢？

  • 因为这是是redis对过期键处理机制导致的误差。 dbsize返回的是包含过期键的总数。而keys * 因为被动调用了过期的key,触发惰性删除，所以过期的key就查不到了。

参考资料

redis学习笔记（16）---过期键的设置与删除
qinm的专栏
05-11 6071
expires　　在之前数据库的结构中可以看到，每一个数据库除了用变量dict来保存所有的key-value对之外，还通过一个expires成员变量来保存所有设置了过期时间的keytypedef struct redisDb { dict *dict; /* 数据库 */ dict *expires; /* 过期键集合 */ ...... } redisD
redis过期删除、redis内存淘汰策略
Deronn的博客
11-11 293
redis过期删除 redis的过期删除策略是:惰性删除和定期删除配合使用。 1.定期删除 由redis.c/activeExpireCycle 函数实现，函数每秒运行10次，每次运行时，都从一定数量的数据库中取出一定数量的随机键进行检查，并删除其中的过期键。可以通过修改配置文件redis.conf 的 hz 选项来调整这个次数，但是不建议将这个值设置超过 100，否则会对CPU造成比较大的压力。 因为key太多，如果全盘扫描所有的key会非常耗性能，所以是随机抽取一些key来删除。这样就有可能删除不完，需
如何关闭redis的自动清理缓存，声明式事务（含有redis）如何解决，redis setnx锁的使用。
最新发布
f552126506的博客
08-09 840
如何关闭redis的自动清理缓存，声明式事务（含有redis）如何解决，redis setnx锁的使用。
redis过期数据删除策略
weixin_34061482的博客
06-04 372
过期数据删除策略  redis的过期数据删除策略使用了惰性删除和定期删除两种策略： 惰性删除发生在redis处理读写请求的过程，如get/set等命令。 定期删除发生在redis内部定时任务执行过程中，限制占用cpu的时间。 定期删除  redis的定期删除是通过定时任务实现的，也就是定时任务会循环调用...
Redis - 删除策略
Javaer`s blog
04-28 333
1. 概述 Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态 XX ：具有时效性的数据 -1 ：永久有效的数据 -2 ：已经过期的数据 或 被删除的数据 或 未定义的数据 过期的数据真的立刻删除了吗？ 2. 数据删除策略 应该在数据的删除和其他指令的执行中保证平衡，也就是在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能...
Redis的过期键删除策略和数据逐出策略
全菜工程师小辉的博客
07-25 5483
Redis作为一个高性能的内存NoSQL数据库，其容量受到最大内存限制的限制。 在实际生产环境中使用Redis时，偶然会觉得Redis的内存占用要比自己预想的大。事实上，Redis占用的内存除了保存键值对所需的开销外，还有一些运行时产生的额外内存，包括： 过期Key所占空间 渐进式Rehash导致未及时删除的空间 Redis管理数据，包括底层数据结构开销，客户端信息，读...
redis详细笔记
10-04
### Redis详细笔记 #### 1. Redis介绍 Redis是一种高性能的键值对存储数据库，它使用C语言编写，能够提供非常高的读写速度。作为NoSQL数据库的一种，Redis旨在解决传统关系型数据库面临的高并发、高可扩展性、高...
20_来聊聊redis的线程模型吧？为啥单线程还能有很高的效率？.zip
11-13
笔记.docx可能详细记录了学习过程中的重点和理解，包括Redis的数据类型、命令、持久化方式等。 总的来说，Redis的单线程模型通过I/O多路复用技术和内存存储机制，实现了高性能的键值存储服务。对于Java开发者来说，...
【Redis学习笔记】聊聊Redis的高可用性 (High Usability)（上）
Noobi的博客
10-11 341
【Redis学习笔记】聊聊Redis的高可用性 (High Usability)（上） 这个系列是个人学习Redis的一点记录，希望对大家有帮助 若有错误，欢迎指正 我们为什么需要高可用性？ 我们知道，Redis作为一个内存数据库，自然在物理层面上就奠定其高性能的基础，也就是常说的QPS（Query Per Second）很高。 由于是内存数据库，其高效能的背后也有当机的风险，学过一点计算机组成原理的，或是对计算机硬件稍有了解的朋友，应该都对内存的特性不陌生------断电清空内容。 有人抬杠说，我们.
Redis核心技术笔记——Redis数据结构
weixin_43881925的博客
08-02 504
Redis底层数据结构 ​ 总体来说，大家都知道redis数据结构有String、List、Hash、Set、Sorted Set还有三种高级的数据结构Bit map、GEO、Hyperloglog。 ​ 简单来说，redis底层数据结构一共只有6种，分别是简单动态字符串（SDS）、双向链表、压缩列表、哈希表、跳表和数组，首先我会分析他们对于redis中数据结构的实现，然后我会给出三种高级数据结构的应用场景还有redis索引的实现 1.Redis中数据类型和底层数据结构的关系 如图所示： ​ 可见，
阿里Redis最全面试全攻略，读完这个就可以和阿里面试官好好聊聊
m0_74931226的博客
11-18 413
简述Redis常用的数据结构及其如何实现的？Redis支持的常用5种数据类型指的是value类型，分别为：字符串String、列表List、哈希Hash、集合Set、有序集合Zset，但是Redis后续又丰富了几种数据类型分别是Bitmaps、HyperLogLogs、GEO。由于Redis是基于标准C写的，只有最基础的数据类型，因此Redis为了满足对外使用的5种数据类型，开发了属于自己独有的一套基础数据结构，使用这些数据结构来实现5种数据类型。
Redis 删除策略
酆都城博客
09-02 358
Redis 删除策略 过期数据 Redis中的数据特征** Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态 TTL返回的值有三种情况：正数，-1，-2 正数：代表该数据在内存中还能存活的时间 -1：永久有效的数据 2 ：已经过期的数据 或被删除的数据 或 未定义的数据 删除策略就是针对已过期数据的处理策略，已过期的数据是真的就立即删除了吗？其实也不是，我们会有多种删除策略，是分情况的，在不同的场景下使用不同的删除方式会有不同效果，这也正是我们要将的数据的删
Redis如何删除过期的数据和Redis内存淘汰策略
mangomango123的博客
02-23 252
一、在Redis中，假如我们设置了100w个key，这些key设置了只能存活2个小时，那么在2个小时后，redis是如何来删除这些key的？ 答案：定期删除 and 惰性删除。 那什么是定期删除？什么的惰性删除？靠这两种策略就可以删除掉redis中过期的key吗？ 定期删除：redis默认每隔100ms随机抽取一些key，检查是否有过期的key，有过期的key则删除。需要注意的是redis不是每隔100ms就将所有的key检查一次，而是随机抽取一些key来检查是否过期的key。如果每100ms，就将redi
【Redis】redis数据到了过期时间，怎么删除
Awt_FuDongLai的博客
05-20 292
我们set key的时候，可以给一个expire time，用来指定这个key可以存活的时间。 redis通过定期删除和惰性删除的方式，对过期的key进行删除。 定期删除：redis默认每隔100ms，就随机抽取一些设置了过期时间的key，检查其是否过期。 惰性删除：定期删除会导致很多到了过期时间，却没有删除的key。当再次查询时，才会删除。 参考资料 JavaGuide公众号文章 ...
Redis数据过期清除：释放内存，提升性能！
爱编程的鱼的博客
02-05 1485
本文深入解析了Redis的数据过期清除策略，包括过期键的删除方式、清除策略的选择以及相关配置参数的介绍。通过合理设置过期时间和清除策略，可以有效管理Redis中的数据，并确保内存的合理利用。使用示例代码，你可以在自己的项目中实现数据过期清除策略，以提高系统性能和资源利用率。
谈谈Redis的过期数据删除策略
一个菜鸡的博客
12-04 616
我们都知道Redis 所有的数据结构都可以设置过期时间，时间一到，这些数据就会变成过期数据，这个时候就需要进行删除，这里需要注意一下，这个与淘汰策略不同，淘汰策略是指当内存被占满了之后，这时就有必要将一些数据清理淘汰掉。EXPIRE <key> <ttl> ：表示将键 key 的生存时间设置为 ttl 秒。PEXPIRE <key> <ttl> ：表示将键 key 的生存时间设置为 ttl 毫秒。
聊聊redis分布式锁的8大坑
lisu061714112的专栏
09-24 3838
前言 在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被用到了很多业务场景当中。 尤其是分布式配置中心：apollo、nocos等的出现，让zookeeper的地位越来越低了。zookeeper分布式锁复杂度更高，想把它使用好并不容易。 所以我们还是好好使用redis分布式锁吧。 不是说用了redis分布式锁，就可以高枕无忧了，如果没有用好，也会引来一些意想不到的麻烦。 今天我们重点聊聊redis分布式锁的一些坑，给有需要的朋友一个参考。 最近无意间获得一份BAT大厂大佬写
Redis实战：服务器断电，内存上面的数据就会丢失了。这个问题显然怎么解决？
duan18888的博客
05-11 2822
Redis 中数据的持久化 前言 我们知道 Redis 是内存数据库，所有操作都在内存上完成。内存的话，服务器断电，内存上面的数据就会丢失了。这个问题显然是需要解决的。 Redis 中引入了持久化来避免数据的丢失，主要有两种持久化的方式 RDB 持久化和 AOF 持久化。 AOF 持久化 什么是 AOF 持久化 AOF(Append Only File):通过保存数据库执行的命令来记录数据库的状态。 AOF日志对数据库命令的保存顺序是，Redis 先执行命令，把数据写入内存，然后才记录
Redis学习笔记
dairenwu的博客
05-24 686
一.Redis Spring核心技术12.3 Redis 秒杀项目Redis内存标记 https://coding.imooc.com/lesson/168.html#mid=9916 https://github.com/luin/redis-book-assets 《Redis入门指南》源码 https://githubcom/antirez/redis https://gist.github.com/pietern/348262 Redis源码贡献者聊天室 数据库三范式 Redis->缓存/队列
Redis数据过期策略详解：设置、操作与清除
"Redis中的数据过期策略详解" 在Redis中，数据过期策略是关键的一部分，它确保了存储在内存中的数据具有生命周期管理，避免无限制地占用资源。Redis提供了多种机制来处理键的过期问题，这些机制有助于保持数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值