Redis的IO模型以及客户端与服务端设计

最新推荐文章于 2023-04-07 23:30:12 发布
最新推荐文章于 2023-04-07 23:30:12 发布
阅读量304 收藏
点赞数
分类专栏： Redis原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZHOUJIAN_TANK/article/details/106689054
版权

文章目录

IO模型–事件驱动

Redis服务器是一个事件驱动程序，服务器需要处理一下两类

  • 文件事件：Redis服务器通过套接字与客户端（或者其他Redis服务器）进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列的网络通信操作
  • 时间事件：Redis服务器中的一些操作（比如serverCron函数）需要在给定的时间点执行，而时间事件就是服务器这类定时操作的抽象

文件事件（通常是与客户端的交互）

Redis基于Reactor模式开发了自己的网络事件处理器：这个处理器被称为文件事件处理器

  • 文件事件处理器使用I/O多路复用程序来通时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器
  • 当被监听的套接字准备好执行连接应答，读取，写入，关闭等操作时，与操作相对应的文件事件就会产生。这时文件事件处理器就会调用套接字之前关联号的事件处理器来处理这些事件

虽然文件事件处理器以单线程方式运行，但通过使用I/o多路复用程序来监听多个套接字，文件事件处理器即实现了高性能的网络通信模型，又可以很好的与Redis服务器中其他同样以单线程方式运行的模块进行对接，这保持了Redis内部单线程设计的简单性

在这里插入图片描述

  • 文件事件是对套接字操作的抽象，每当一个套接字准备好执行连接应答(accept)、写入、读取、关闭等操作时，就会产生一个文件事件，因为一个服务器通常会连接多个套接字，所以多个文件事件有可能并发的出现
  • IO多路复用程序负责监听多个套接字，并向文件事件分派器传送那些产生了事件的套接字
  • 文件事件分派器接受IO多路复用程序传来的套接字，并根据套接字产生的事件类型，调用相应的事件处理器

文件事件的处理器

Redis为文件事件编写了多个处理器，这些事件处理器分别用于实现不同的网络通信需求，比如说：

  • 为了对连接服务器的各个客户端进行应答，服务器要为监听套接字关联连接应答处理器
  • 为了接受客户端传来的请求命令，服务器要为客户端套接字关联命令请求处理器你
  • 为了向客户端返回命令的执行结果，服务器要为客户单套接字关联命令回复处理器
  • 当主服务器和从服务器进行复制操作时，主从服务器都需要关联特别为复制功能编写的复制处理器

在这里插入图片描述

时间事件（服务器的自身触发的一些维护操作）

分类

在这里插入图片描述

底层实现

服务器将所有时间都放到一个无序链表中，每当时间事件执行器运行时，它就遍历整个链表，查找所有已到达的事件，并调用相应的事件处理器。

在这里插入图片描述

时间事件应用实例：serverCron函数

持续运行的Redis服务器需要定期对自身的资源和状态济宁检查和调整，从而确保服务器可以长期，稳定的运行，这些操作由serverCron函数执行，它的工作主要包括

  • 更新服务器的各类统计信息，比如时间、内存占用，数据库占用情况等。
  • 清里数据库中的过期键值对
  • 关闭和清理连接失效的客户端
  • 尝试进行AOF或RDB持久化操作
  • 如果服务器是主服务器，那么对从服务器进行定期同步
  • 如果处于集群模式，对集群进行定期同步和联结测试

Redis服务器以周期性事件的方式来运行serverCron函数，在服务器运行期间，每个一段时间，serverCron就会执行一次，直到服务器关闭为止

事件的调度与执行

因为服务器同时存在文件事件和时间事件两种事件类型，所以服务器必须对这两种事件进行调度，何时对它们进行调度
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

客户端–如何设计

在这里插入图片描述

  • Redis服务器是典型的一对多服务器程序：一个服务器可以与多个客户端建立网络连接，每个客户端可以向服务器发送命令请求，而服务器则接受并处理客户发送的命令请求，并向客户daunt返回命令回复
  • 通过使用由I/O多路复用技术实现文件事件处理器，Redis使用单线程单进程的方式处理命令请求，并与多个客户端进行网络通信
  • 对于每个与服务器进行连接客户顿，服务器都为这些客户端建立相应的redisClient结构，这个结构保存了客户端当前的状态信息，以及执行相关功能时需要用到的数据结构
    在这里插入图片描述

客户端底层的数据结构

在这里插入图片描述

在服务端保存了一个维持客户端的信息，以链表的方式进行存储

在这里插入图片描述

  • 套接字描述符:
  • 名字:客户端的名字
  • 标志:客户端的角色
  • 输入缓冲区:保存客户端发送的命令请求
  • 命令与命令参数:在服务器将客户端发送的命令请求保存到客户端状态的输入缓冲区之后，服务器将对命令请求的内容进行分析，并将得到的命令参数以及命令参数的个数分别保存到客户端状态的arg属性和argc属性
  • 命令的实现函数:当服务器从协议内容中分析并得出argv属性和argc属性的值之后，服务器将根据项的argv[0]的值，在命令表中查找命令所对应的命令实现函数
  • 在这里插入图片描述
  • 输出缓冲区:执行命令所得到的的命令回复会被保存在客户状态的输出缓冲区里面，每个客户单都有两个输出缓冲区可用，一个缓冲区的大小是固定的，另一个缓冲区大小是可变的
  • 身份验证:用于记录了客户端是否通过了身份验证

  • 时间:

    • 创建客户单的时间
    • 客户端与服务器最后一次进行互动的时间

客户端的创建与关闭

客户端的创建

如果客户端是通过网络连接与服务器进行连接的普通客户端，那么在客户端使用connect函数连接到服务器时，服务器就会调用连接事件处理器，为客户端创建相应的客户端状态，并将这个新的客户端状态添加到服务器状态结构clients链表的末尾。

AOF文件的伪客户端

服务器在载入AOF文件时，会创建用于执行AOF文件包含的`Redis命令的伪客户端，并在载入完成之后，关闭这个伪客户端。

客户端的关闭

在这里插入图片描述

服务器

Redis服务器负责与多个客户端建立网络连接，处理客户端发送的命令请求，在数据库中保存客户端执行命令所产生的数据，并通过资源管理来维持服务器自身的运转

alex-zhou96
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis服务端实现 & HA1
08-03
综上所述，Redis服务端的实现涉及到启动流程、命令执行、事件驱动的网络模型以及高可用性策略等多个方面，这些组件共同保证了Redis作为高效键值存储系统的稳定运行。理解这些核心概念有助于我们更好地设计和维护基于...
Redis 6.0核心创新：多线程、客户端缓存和ACL详解
12-16
这一特性使得服务器能够追踪key的变化，允许客户端缓存数据，减少了客户端与服务器之间的交互次数，从而减轻了服务端的压力。当key的数据发生变化时，服务器会主动通知客户端，使客户端能够及时更新本地缓存。目前，...
Redis---客户端和服务端
black-ant
04-29 6325
文章转载自：http://redisbook.readthedocs.io/en/latest/internal/redis.html 1.初始化服务器 从启动 Redis 服务器，到服务器可以接受外来客户端的网络连接这段时间，Redis 需要执行一系列初始化操作。 整个初始化过程可以分为以下六个步骤： 初始化服务器全局状态。 载入配置文件。 创建 daemon 进程。 初...
Redis：Redis的IO模型
张豫湘的博客
04-07 488
因为多线程并不一定就代表线程越多速度越快，再多线程的场景下，我们不得不去考虑针对共享变量的管理，也就是说针对并发所需要进行的处理往往会导致额外的开销或者说通过互斥锁等机制让并行变串行，因此增加线程并未让系统的吞吐率变高，反而因为加入了同步的机制，往往造成程序难于维护和调试。redis网络框架调用epollo机制，就不会出现上面所说的阻塞点的情况的产生，因为redis不会阻塞在一个特定的连接/监听套接字上，所以不会因为一个客户端的请求而堵塞其他客户端的请求，提高了并发性。耗时的操作包括以下几种。
03 Redis 网络IO模型简介
热门推荐
一个天秤座的架构师
02-11 2万+
1Redis中的单线程模型 提起Redis，我们经常会说其底层是一个单线程模型，但这是不严谨的。Redis单线程指的是网络请求模块使用了一个线程，即一个线程处理所有网络请求，其他模块该使用多线程，仍会使用了多个线程。既然是单线程模型，那么CPU不是Redis的瓶颈。Redis的瓶颈最有可能是机器内存或者网络带宽。 2Redis中的单线程模型 Redis基于Reactor模式开发了自己的网络事件处理器，称之为文件事件处理器(File Event Hanlder)。文件事件处理...
Redis设计与实现（三）| 服务器与客户端的交互（事件IO模型）
光看不点赞的博客
06-26 503
如下图所示，总计有四部分组成：套接字、多路复用器、文件事件分派器和事件处理器 多路复用的工作流程命令请求处理器 命令回复处理器 整个流程
Redis网络模型-IO多路复用
mqq2502513332的博客
10-31 837
Redis网络模型-IO多路复用
Redis深入理解九 ：Redis中的线程和IO模型
Men-DD
04-06 2782
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种 (1)同步阻塞IO(Blocking IO)：即传统的IO模型 老李去火车站买票，排队三天买到一张退票。 耗费：在车站吃喝拉撒睡 3天，其他事一件没干。 (2)同步非阻塞IO(Non-blocking IO)：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO(New IO)库 老李去火车站买票，隔12小时去火车站问有没有退票，三天后买到一张票。 耗费：往返车站6次，路
09-Redis IO 多路复用
javaTalk
04-18 2090
目录 一 Redis 是单线程还是多线程？ 二 为什么单线程的 Redis 性能很高？ 三 什么是 IO 多路复用技术？ 一 Redis 是单线程还是多线程？ 这个问题可以一分为二： Redis 是单线程，是因为 Redis 使用文件事件分派器来处理事件队列，且该文件事件分派器是单线程的，所以 Redis 才叫做单线程的模型。 Redis 是多线程，是因为持久化、异步删除、集群数据同步等操作都是由数据读写线程之外其他线程执行的，所以 Redis 也可以叫做多线程模型。 之所以大家都说是单线程
【Redis】网络模型：Redis的IO多路复用
blblccc
02-22 1171
【Redis】网络模型：Redis的IO多路复用
Redis的IO模式详解
一个有信仰的技术人
03-10 1131
redis的底层io模式详细解释,io多路复用epoll
Redis核心知识点总结
03-15
#### 一、Redis简介与特点 **定义**： - **Remote Dictionary Server**（简称Redis）是一款完全开源的、采用ANSI C语言编写的、遵循BSD许可协议的高性能Key-Value数据库系统。 - Redis不仅支持常见的字符串类型的...
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
07-26
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
b278视频及游戏管理平台-springboot+vue.zip（可运行源码+sql文件+）
07-26
视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。
大模型应用-为Ollma开发的简单的HTML网页UI应用-附项目源码-优质项目实战.zip
最新发布
07-26
大模型应用_为Ollma开发的简单的HTML网页UI应用_附项目源码_优质项目实战
基于JAVA局域网监听软件的设计与开发(源代码+论文).rar
07-26
基于JAVA局域网监听软件的设计与开发(源代码+论文).rar
写一个python redis传送数据的客户端和服务端
04-05
以下是一个简单的Python Redis传输数据的客户端和服务端示例。 服务端代码： ```python import redis r = redis.Redis(host='localhost', port=6379) # 等待客户端连接 while True: message = r.blpop('data_queue')[1] print(message.decode()) ``` 客户端代码： ```python import redis r = redis.Redis(host='localhost', port=6379) # 发送数据到服务端 data = {'name': 'John', 'age': 30} r.rpush('data_queue', str(data)) print('Data sent successfully.') ``` 这个示例演示了如何使用Redis的`blpop()`函数从队列中读取数据，并使用`rpush()`函数将数据发送到队列中。请注意，此示例非常简单，并且不包括任何错误处理和许多其他必要的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值