Redis通信协议、回收内存

于 2024-10-11 19:06:32 发布
阅读量724 收藏 11
点赞数 10
分类专栏： Redis面试 文章标签： redis Redis内存回收 redis过期策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49429082/article/details/142861053
版权

Redis通信协议、回收内存

文章目录

1 RESP协议

Redis是一个CS架构的软件，通信一般分两步(不包括pipeline和PubSub)：

  • 客户端(client)向服务端(server)发送一条命令
  • 服务端解析并执行命令，返回响应结果给客户端

因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范，这个规范就是通信协议。

而在Redis中采用的是 RESP (Redis Serialization Protocol)协议:

  • Redis 1.2版本引入了RESP协议
  • Redis 2.0版本中成为与Redis服务端通信的标准，称为RESP2
  • Redis6.0版本中，从RESP2升级到了RESP3协议，增加了更多数据类型并且支持6.0的新特性–客户端缓存

但目前，默认使用的依然是RESP2协议，也是我们要学习的协议版本(以下简称RESP)。

1.1 RESP协议-数据类型

在RESP中，通过首字节的字符来区分不同数据类型，常用的数据类型包括5种：

  • 单行字符串：首字节是 ‘+’，后面跟上单行字符串，以CRLF( “\r\n” )结尾。例如返回"OK" ："+OK\r\n”

    因此单行字符串中不允许出现 \r\n字符串（除结尾外）

  • 错误(Errors)：首字节是’-'，与单行字符串格式一样，只是字符串是异常信息，例如:“-Error message\r\n”

  • 数值：首字节是’:'，后面跟上数字格式的字符串，以CRLF结尾。例如:“:10\r\n”

  • 多行字符串：首字节是’$’，表示二进制安全的字符串，最大支持512MB：
    在这里插入图片描述

    • 如果大小为0，则代表空字符串:“$0\r\n\r\n”
    • 如果大小为-1，则代表不存在:“$​-1\r\n”

  • 数组：首字节是’*'，后面跟上数组元素个数，再跟上元素，元素数据类型不限
    在这里插入图片描述

1.2 Redis内存回收-过期key处理

Redis之所以性能强，最主要的原因就是基于内存存储 。然而 单节点的Redis其内存大小不宜过大，会影响持久化或主从同步性能 。

我们可以通过修改配置文件来设置Redis的最大内存：

当内存使用达到上限时，就无法存储更多数据了。

在学习Redis缓存的时候我们说过，可以通过expire命令给Redis的key设置TTL(存活时间)：

在这里插入图片描述

可以发现，当key的TTL到期以后，再次访问name返回的是nil，说明这个key已经不存在了，对应的内存也得到释放。
从而起到内存回收的目的。

在这里插入图片描述

1.2.1 过期策略-DB结构

Redis本身是一个典型的key-value内存存储数据库，因此所有的key、value都保存在之前学习过的Dict结构中。不过在其database结构体中，有两个Dict：一个用来记录key-value；另一个用来记录key-ttl。

  • 第一个dict *dict ：用来保存所有的key - value
  • 第二个dict *expires ：用来保存添加了TTL的key - value value中保存了过期时间ttl。 因此expires中的数量肯定小于等于dict中的数量

在这里插入图片描述

在这里插入图片描述

Redis是如何知道一个key是否过期呢？

  • Redis是利用两个Dict分别记录Key-value对及Key-ttl对 所以查对应key的ttl就能知道这个key有没有过期

是不是TTL到期就立即删除了呢？

  • 惰性删除
  • 周期删除
1.2.2 过期策略-惰性删除

惰性删除 ：顾名思义并不是在TTL到期后就立刻删除，而是在访问一个key的时候，检查该key的存活时间，如果已经过期才执行删除。

在这里插入图片描述

万一一堆key过期后都没被访问了， 那么这个key就会存活很多时间，导致内存浪费。所以引入了周期删除

1.2.3 过期策略-周期删除

周期删除： 顾名思义是通过一个定时任务，周期性的抽样部分过期的key，然后执行删除。执行周期有两种：

  • Redis会设置一个定时住务serverCron()，按照server.hz的频率来执行过期key清理，模式为SLOW
  • Redis的每个事件循环前会调用beforeSleep()函数，执行过期key清理，模式为FAST

在这里插入图片描述

SLOW模式规则

  • 执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期100ms。
  • 执行清理耗时不超过一次执行周期的25%.
  • 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
  • 如果没达到时间上限(25ms)并且过期key比例大于10%，再进行一次抽样，否则结束

FAST模式规则 (过期key比例小于10%不执行)：

  • 执行频率受beforeSleep()调用频率影响，但两次FAST模式间隔不低于2ms
  • 执行清理耗时不超过1ms
  • 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
  • 如果没达到时间上限(1ms)并且过期key比例大于10%，再进行一次抽样，否则结束

SLOW频率小，但是持续时间长

FAST频率大，但是持续时间小

1.3 总结

在这里插入图片描述

2 内存淘汰策略

在过期策略下，即使可以将一些过期的key移除，但是在一些庞大的项目中，因为数据量非常多，不断向Redis中存储，仅仅淘汰过期的key也难以满足内存使用。此时就需要使用到内存淘汰策略。

内存淘汰 ：就是当 Redis内存使用达到设置的阈值 时，Redis 主动挑选 部分key删除以释放更多内存的流程。

Redis会在处理客户端命令的方法processCommand()中尝试做内存淘汰

在这里插入图片描述

Redis支持8种不同策略来选择要删除的key:

  • noeviction：不淘汰任何key，但是内存满时不允许写入新数据，默认就是这种策略
  • volatile-ttl：对设置了TTL的key，比较key的剩余TTL值，TTL越小越先被淘汰
  • allkeys-random：对全体key，随机进行淘汰。也就是直接从db->dict中随机挑选
  • volatile-random：对设置了TTL的key ，随机进行淘汰。也就是从db->expires中随机挑选
  • allkeys-lru：对全体key，基于LRU算法进行淘汰
  • volatile-lru：对设置了TTL的key，基于LRU算法进行淘汰
  • allkeys-lfu：对全体key，基于LFU算法进行淘汰
  • volatile-lfu：对设置了TTL的key，基于LFI算法进行淘汰

比较容易混淆的有两个:

  • LRU(Least RecentlyUsed)，最少 最近使用。用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高
  • LFÙ(Least FrequentlyUsed)，最少 频率使用。会统计每个key的访问频率，值越小淘汰优先级越高。

Redis的数据都会被封装为RedisObject结构：

在这里插入图片描述

LFU的访问次数之所以叫做逻辑访问次数，是因为并不是每次key被访问都计数，而是通过运算:

  • 生成0~1之间的随机数R

  • 计算 1/(旧次数*lfu_log_factor+1)，记录为P，lfu log factor默认为10

  • 如果 R<P，则计数器+1，且最大不超过255 (妙啊)

    但是也不能总是累加，万一长时间没来，这次数不能让其保持不变，最好减少，于是就有了接下来的一步。

  • 访问次数会随时间衰减，距离上一次访问时间每隔 lfu_decay_time 分钟(默认1)，计数器 -1

在这里插入图片描述

  • 首先判断内存是否充足，充足则结束
  • 不充足则判断内存策略是否是noeviction，是的话也结束，因为这策略不删除key，只是不允许再写新数据。否的话则再判断是否是对allkeys操作
    • 如果是对allkeys，则从dict中淘汰，头
小小低头哥
关注
专栏目录
Redis网络模型、通信协议、内存回收
kingandsong的博客
09-13 1228
redis的网络模型，通信协议，内存回收解析
Redis原理篇之通信协议和内存回收
m0_53157173的博客
05-30 265
Redis原理篇之通信协议和内存回收Redis通信协议RESP模拟Redis客户端Redis内存回收策略过期策略惰性删除周期删除小结淘汰策略八种策略RedisObject流程图 Redis通信协议 RESP 模拟Redis客户端 具体代码放在了下面的gitee仓库中: https://gitee.com/DaHuYuXiXi/mock-redis-client Redis内存回收策略 过期策略 通过expire命令可以给Redis的key设置TTL: 可以发现,当key的TTL过期后,再次访问na
Redis通信协议、过期回收策略
TiankkTT的博客
06-03 2545
try {// 1.建立连接 String host = "服务器IP";// 2.获取输出流、输入流 writer = new PrintWriter(new OutputStreamWriter(s . getOutputStream() , StandardCharsets . UTF_8));// 3.发出请求 // 3.1.获取授权 auth 123321 sendRequest("用户名" , "密码");
Redis高频面试基本问题整理
热门推荐
张彦峰的博客
04-07 170万+
对Redis一些重点内容进行整理总结用于查缺补漏
Redis通信协议之RESP协议
qq_63431773的博客
11-29 177
try {// 1.建立连接// 2.获取输出流、输入流// 3.发出请求// 3.1.获取授权 auth 123321// 3.2.set name 虎哥sendRequest("set", "name", "虎哥");// 4.解析响应// 3.2.set name 虎哥// 4.解析响应// 3.2.set name 虎哥// 4.解析响应// 5.释放连接try {if (reader!if (writer!if (s!
Redis 篇-深入了解 Redis 中的 RESP 通信协议与内存回收（过期 key 处理、内存淘汰策略）
小扳手
09-29 1848
删除完之后，再判断内存是否充足，如果还是不足，那么会接着循环来删除 key，如果达到充足的内存，则直接退出删除 key 的操作。若选择的删除策略为：TTL、LRU、LFU 这些策略，先创建一个池，用来存放准备删除的 key，在 Redis 数据库中从 0 直到 15 的数据库进行遍历抽样选择要放入池中的 key，默认每次抽样 5 个 key。如果当前内存不充足时，继续判断内存策略是否为默认 noeviction 策略，也就是即使内存满了，也不会执行删除 key 的操作，会发出错误信息。
20道经典Redis面试题
ANGEL CITY
05-06 22万+
前言 整理了20道经典Redis面试题，希望对大家有帮助。 1. 什么是Redis？它主要用来什么的？ Redis，英文全称是Remote Dictionary Server（远程字典服务），是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 与MySQL数据库不同的是，Redis的数据是存在内存中的。它的读写速度非常快，每秒可以处理超过10万次读写操作。因此redis被广泛应用于缓存，另外，Redis也经常用来做分布式锁
Redis系列学习文章分享---第十八篇（Redis原理篇--网络模型，通讯协议，内存回收）
weixin_44976692的博客
03-25 1万+
开发一个基于socket的自定义Redis客户端，可以直接与Redis服务器进行通信。// 创建Socket连接// 发送命令// 接收响应。
笔记分享-Redis原理(Redis底层数据结构+Redis网络模型+Redis内存回收)
qq_38682924的博客
09-19 597
Redis原理笔记分享
Redis和Gossip协议
12-06 976
今天来看一下Redis-Cluster和其中的重要概念Gossip协议。 1.Redis Cluster的基本概念 集群版的Redis听起来很高大上，确实相比单实例一主一从或者一主多从模式来说复杂了许多，互联网的架构总是随着业务的发展不断演进的。 单实例Redis架构 最开始的一主N从加上读写分离，Redis作为缓存单实例貌似也还不错，并且有Sentinel哨兵机制，可以实现主从故障迁移。 单实例...
Redis入门实战：内存优化与垃圾回收机制
AI天才研究院
11-09 110
1.背景介绍 随着互联网快速发展和移动互联网的兴起，基于分布式计算技术的数据存储需求越来越多，例如分布式缓存、分布式消息队列、高并发场景下的数据库等。而传统的基于磁盘的缓存服务如Memcached和Redis等，在提供类似功能时，往往需要占用大量的内存资源。因此，如何对Redis进行合理配置，提高内存利用率，降低内存碎片，是值得关注的话题。
Redis——Redis命令执行原理
庄小焱
03-29 1552
当问到一些面试者：Redis 是如何执行的？收到的答案往往是：客户端发命令给服务器端，服务端收到执行之后再返回给客户端。然而对于执行细节却避而不谈，当继续追问服务器端是如何执行的？能回答上来的人更是寥寥无几。
Redis——Redis的扩展与应用
庄小焱
04-02 1481
Redis 和 Memcached 的区别？ Redis的高级的数据结构 String、Hash、List、Set、SortedSet。HyperLogLog、Geo、Pub/Sub。那你说还玩过Redis Module，像BloomFilter，RedisSearch，Redis-ML 避免缓存穿透的利器之BloomFilter 如果有大量的key需要设置同一时间过期，一般需要注意什么？ 如果大量的key过期时间设置的过于集中，到过期的那个时间点，Redis可能会出现短暂的卡顿现象。严重的.
Redis高频面试题:10w+QPS的Redis真的只是因为单线程和基于内存？
msbz7的博客
10-07 240
只有当从服务器第一次复制或断开时间过长时，才会执行完整重同步，而从服务器短时间断开重连后，只需要将自己的 offset（复制偏移量）发送给主服务器，主服务器会根据从服务器的 offset 和自己的 offset，然后从复制积压缓冲区里将从服务器丢失的写命令发送给从服务器，从服务器只要接收并执行这些写命令，就可以将数据库更新至主服务器当前所处的状态。但是其实，从服务器重新连接时，数据库状态和主服务器大致是一样的，缺少的只是断开连接过程中，主服务器接收到的写命令；避免错误类型，能自适应新添加的新元素的长度。
基于协同过滤的网络文学智能推荐平台的设计与实现（小说）springboot mysql Redis Thymeleaf
欧阳小白闯天涯
10-04 1199
摘 要：随着网络文学的蓬勃发展，用户面对海量的小说选择时往往感到困扰，因此构建一种基于协同过滤的网络文学智能推荐平台显得尤为重要。本研究以Spring Boot、MySQL、Redis和Thymeleaf为技术支持，致力于为用户提供个性化的小说推荐服务。该平台不仅具备小说推荐、算法推荐、小说搜索等常见功能，还包括排行榜、充值、小说评论、发布小说、章节管理、作品信息、个人中心、我的书架等细致而全面的服务。
【Redis】持久化（下）-- AOF
2301_78320637的博客
10-08 957
Redis提供了两种持久化RDB和AOFRDB视为内存快照,产生的内容更为紧凑占用空间小恢复速度更快.但是产生RDB的开销较大不适合进行实时持久化,一般用于冷备和主从复制AOF视为对修改命令保存,在恢复时需要重放命令.并且有重写机制来定期压缩AOF文件RDB和AOF都是用fork来创建子进程,利用Linux子进程拥有父进程内存快照的特点来进行持久化,尽可能不影响主进程继续处理后续命令。
Redis: 集群高可用之MOVED转向和ASK转向解决方案
Wang的专栏
10-04 979
MOVED 转向相当于告诉你这个槽在哪，你要自己去获取, 解决办法是以集群的方式连入，或者说自己去维护槽对应节点信息， 在每次命令之前自己去做处理判断，让他向正确的节点发送请求。ASK 转向是槽迁移的过程中产生的一种错误，它会给你返回 ASK error。否则的话，先发送一个 ASKING，然后再去获取，就能正常拿到。解决办法，也是你的客户端以集群的方式接入，它会自己帮你去处理。1 ) 关于 MOVED 转向。2 ）关于 ASK 转向。2 ）Redis 规范。3.1 解决方案 1。3.2 解决方案 2。
简单认识redis-5 jdbc 与 jedis 使用的区别
最新发布
m0_68274160的博客
10-08 594
【代码】简单认识redis-5 jdbc 与 jedis 使用的区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值