源码篇--Redis 网络模型

最新推荐文章于 2024-06-17 15:45:47 发布
最新推荐文章于 2024-06-17 15:45:47 发布
阅读量1.2k 收藏 27
点赞数 24
分类专栏： 源码解析篇 db数据库 java工具篇 文章标签： redis 网络 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l123lgx/article/details/135870600
版权

文章目录

前言

知道了Redis 底层的数据结构，接下来看下 Redis 通信的网络模型。

一、用户态内核态介绍：

1.1 用户空间访问磁盘资源：

用户空间并不能直接的访问 系统资源，需要发送指令到内核空间，然后内核空间执行指令 从系统获取磁盘，然后将获取到的资源拷贝到用户空间，然后在从用户空间拷贝到用户空间；

1.2 服务器之间的远程访问：

客户端在用户空间发情请求，通过内核态，在通过网卡将请求发出，同时等待服务器的应答，获取到应答之后，在从网卡拷贝数据到内核，在从内核拷贝数据到用户空间；

1.3 性能瓶颈问：

  • 用户态和内核态的状态切换，用户态到内核态和内核态到用户态的数据拷贝；
  • 客户端在发起请求之后的阻塞等待数据返回；

二、五种网络模型：

以 用户空间访问硬件资源来说：
在这里插入图片描述

  • IO 读取系统的文件数据时，用户空间发送指令到内核空间，然后等待硬件数据拷贝到内核缓冲区；
  • 将内核缓冲区的数据拷贝到用户缓冲区；

2.1 阻塞IO（Blocking IO）：

在这里插入图片描述
两个阶段都进行等待：

  • 用户空间发送 recvfrom ，此时内核空间还没有准备好数据，此时等待内核空间完成数据准备；
  • 内核空间数据准备完成，将数据拷贝到用户空间之前也是进阻塞；

2.2 非阻塞IO(NO Blocking IO)：

在这里插入图片描述
第二个阶段等待：

  • recvfrom ，此时内核空间还没有准备好数据 ，此时直接返回 资源不到位信息；
  • 不断轮询recvfrom 询问内核空间是否完成准备；
  • 当时内核数据完成准备，将数据拷贝到用户空间之前也是进阻塞；

2.3 阻塞IO和非阻塞IO ：

可以看到，非阳寒I0模型中，用户进程在第一个阶段是非阳塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能并没有得到提高。而且会导致CPU空转，使CPU使用率暴增。非阻塞IO 只是进行轮询，达到不进行cpu的切换；

无论是阻塞IO还是非阻塞IO，用户应用在一阶段都需要调用recvfrom来获取数据，差别在于无数据时的处理方案:

  • 如果调用recvfrom时，恰好没有数据，阻塞IO会使进程阻塞，非阻塞IO使CPU空转，都不能充分发挥CPU的作用。
  • 如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据；

2.4 多路复用IO ：

IO多路复用:是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源；IO 多路复用 多用于 服务端对于连接的建立；

FD:文件描述符(File Descriptor): 简称FD，是一个从0开始递增的无符号整数，用来关联Linux中的一个文件。在Linux中，一切皆文件，例如常规文件、视频、硬件设备等，当然也包括网络套接字 (Socket)。

在这里插入图片描述

相比于阻塞IO和非阻塞IO来说， 使用select 可以 监听多个FD, 只要有FD 可读可写，就进行处理 ，而不是死等一个某个FD；其中IO多路复用底层有三种实现 select ，poll，epoll ，它们的主要区别为select和poll只会通知用户进程有FD就绪，但不确定具体是哪个FD，需要用户进程逐个遍历FD来确认epoll则会在通知用户进程FD就绪的同时，把已就绪的FD写入用户空间;

2.4.1 select 模型：

select是Linux中最早的I/0多路复用实现方案：
在这里插入图片描述
l0流程:

  • 将readfds，writefds，exceptfds fd数组 每个fd数组最大为1024，拷贝到内核空间 ；
  • 内核将可读，可写，异常的 fd 分别放入到 readfds，writefds，exceptfds；
  • 然后将内核空间中 readfds，writefds，exceptfds 数组写回到用户空间；
  • 用户空间分别遍历 readfds，writefds，exceptfds 进行读写；

特点：

  • 已经就绪的fd 需要从内核空间拷贝到用户空间；
  • 监听的fd 数量最多 是1024；
  • 返回就绪的fd 数量，需要遍历去看哪些fd 真正就绪；

2.4.2 poll 模型：

在这里插入图片描述
l0流程:

  • 创建pollfd数组，向其中添加关注的fd信息，数组大小自定义;
  • 调用poll函数，将pollfd数组拷贝到内核空间，转链表存储（理论上无上限）；
  • 内核循环遍历fd判断是否就绪 ；
  • 如果有fd数据就绪或超时后 等待超时，拷贝pollfd数组到用户空间，并且返回就绪fd数量n；
  • 用户进程判断就绪的fd 数量n是否大于0，大于0则遍历pollfd数组，找到就绪的fd 就绪数据读取；

特点：

  • 已经就绪的fd 需要从内核空间拷贝到用户空间；
  • 监听的fd 数量可以自定义 打破 1024 数量限制；
  • 返回就绪的fd 数量，需要遍历去看哪些fd 真正就绪；

2.4.3 epoll 模型：

2.4.3.1 epoll 模型流程：

epoll模式是对select和poll的改进，它提供了三个函数:
在这里插入图片描述
流程：

  • 将要监听的fd 存入到红黑树，并增加回调函数；
  • 当fd 有事件就绪时，调用回调函数，将fd 添加到 rdlist 链表中；
  • 将就绪的fd 放入到events[] 数组中，并拷贝到用户空间，然后返回就绪的fd 数量；
  • 用户空间遍历就绪的events[] 数组 进行数据读取；
2.4.3.2 epoll 模型事件通知 ET/LT 模式：

当FD有数据可读时，我们调用epoll wait就可以得到通知。但是事件通知的模式有两种

  • LevelTriggered: 简称LT。当FD有数据可读时，会重复通知多次，直至数据处理完成。是Epoll的默认模式。
  • EdgeTriggered: 简称ET。当FD有数据可读时，只会被通知一次，不管数据是否处理完成；

在这里插入图片描述
如果是ET 模式则 直接通知1次虽然你没有读取数据完毕；
LT 没有读取完毕则下次还可以将这FD 放入到已就绪的列表，下次循环可以进行返回；

2.4.3.3 epoll 模式实现web 服务流程：

在这里插入图片描述

  • 服务端创建epoll_create 实例 ，这个实例内部创建用于监听socket 的fd 文件，创建用于记录已就行的fd 链表；注册fd就需的回调函数将已经就绪完成的fd 放入到就绪链表中；
  • 服务端创建 serversocket 得到fd 基座ssfd ，通过epoll_ctl 将ssfd 注册的监听fd 的红黑树中；
  • 通过epoll_wait轮询去查看 就绪链表 的fd ，如果有值代表有FD 就绪 可读或者可写；
  • 如果是ssfd 可读则代表有新的客户端连接上来，接调用accept 函数获取客户端的fd，并将fd 注册到监听的红黑树中；
  • 如果是普通的socket 客户端可读，表示已经存在的客户端 发送请求进来，这个时候可以在业务端处理请求，并将结果写回；
  • 如果是epollerror 异常事件，则将异常信息写回给客户端；

2.4.4 select/poll/epoll 模型对比：

  • 每次调用select/poll 都需要拷贝 全部要监听的fd 到内核中，返回的时候也需要 返回所有的fd； 遍历所有fd 得到就绪的fd；
  • epoll 每个fd 只需要进行一次添加 到 内核的红黑树中即可，当有就绪的fd 只需要从内核空间拷贝就绪的fd 即可；用户空间 遍历就绪的fd 就可以进行读写，有新的fd 增加只需要将这个新的fd 放到红黑树即可，及时要监听的fd 但是效率也比较好；

2.5 信号驱动IO：

信号驱动10是与内核建立SIGI0的信号关联并设置回调，当内核有FD就绪时，会发出SIGIO信号通知用户，期间用户应用可以执行其它业务，无需阻塞等待。
在这里插入图片描述
缺点：
当有大量I0操作时，信号较多，SIGIO处理函数不能及时处理可能导致信号队列溢出而且内核空间与用户空间的频繁信号交互性能也较低；

2.6 异步IO：

在这里插入图片描述

  • 用户空间向内核要数据；
  • 内核空间完成数据准备，将数据拷贝到用户空间之后，通知用户空间去处理数据；

缺点：
因为异步io 在向内核空间要数据，和从内核空间拷贝到用户空间，都是非阻塞的，所以在并发量大的时候 需要并发做限流的工作；

2.7 IO 的同步和异步：

IO操作是同步还是异步，关键看数据在内核空间与用户空间的拷贝过程(数据读写的IO操作)，是同步还是异步:
在这里插入图片描述

三、redis 的网络模型：

我们知道redis 是单线程的，但是严格意义来时只有 命令处理部分 是单线程，redis 的命令解析，和发送客户端数据是多线程的；所以对于redis来说redis 的命令处理部分 是单线程，整个redis 内部是多线程；

3.1 redis命令执行部分为什么使用单线程：

  • 抛开持久化不谈，Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度，因此多线程并不会带来巨大的性能提升。
  • 多线程会导致过多的上下文切换，带来不必要的开销；
  • 引入多线程会面临线程安全问题，必然要引入线程锁这样的安全手段，实现复杂度增高，而且性能也会大大折扣；

3.2 单线程模式下，怎么实现多路复用：

Redis通过10多路复用来提高网络性能，并且支持各种不同的多路复用实现，并且将这些实现进行封装，提供了统一的高性能事件库API库AE:
在这里插入图片描述
redis 根据不同的环境加载不同的api 实现：
在这里插入图片描述

3.3 多路复用的实现：

redis 的入口：
在这里插入图片描述

  • initServer 中进行redis 服务的初始化：
    先调用 aeCreateEventLoop ： 创建红黑树，和就绪的链表；创建 serversocekt 的到fd；
    将serversocket的fd 注册到红黑树中进行监听，并设置事件回调acceptTcpHandler (当有新的客户端连接进入则 通过accept 得到socket 的fd 并将fd 注册到红黑树中监听起来，然后绑定 客户端fd 的可读处理器readQueryFromClient，如果客户端fd 可读则说明客户端发请求过来，则通过readQueryFromClient 函数进行处理)
    在这里插入图片描述
    因为在进行epoll_wait 获取就绪事件时很有可能此时并没有就绪事件，此时线程进行阻塞，在获取就绪事件之前先调用 beforeSleep 函数遍历，将客户端的已就绪写事件也加入到客户端socket 的fd 中 ，这样在红黑树中的这个fd 就可以监听写事件，并绑定写事件的处理函数sendReplyToClient，这样当 客户端的fd 有写事件事件则调用sendReplyToClient 函数将响应信息写回到客户端；

在这里插入图片描述

  • asMain: 监听事件
    循环通过aeProcessEvents 函数去获取就绪事件，然后遍历就绪的fd，调用注册的函数处理器进行处理；其中readQueryFromClient 处理客户端socket 的fd可读事件（可读表明客户端发送请求给了服务端，服务端解析客户端的命令进行命令执行，并将结果写到客户端缓冲区）：
    在这里插入图片描述

3.4 redis单线程和多线程网络模型：

3.4.1 redis 6.0 之前单线程网络模型：

在这里插入图片描述

3.4.2 redis 6.0 之后多线程网络模型：

在单线程中，对于事件的派发性能是比较好的，但是在对客户端数据进行读取和写入 会受到IO的网络读写；
Redis 6.0版本中引入了多线程，目的是为了提高IO读写效率。因此在解析客户端命令、写响应结果时采用了多线程。核心的命令执行IO多路复用模块依然是由主线程对于命令逐个执行;

在这里插入图片描述
并发情况下，可能出现多个客户端同时发送给redis 服务端，造成多个客户端的fd 都是可读的，此时redis 开启多个线程 去并行的解析 客户端的请求进行命令的解析，真正执行命令是有单个线程串行执行，然后将执行结果放入到链表中；然后在客户端触发写事件后有多个线程去处理将结果写回到客户端；
在这里插入图片描述

总结

redis 内部使用IO多路复用，在linux 环境下，通过创建红黑树来监听多个socket 的fd 文件，并将就绪的fd 写入到就绪链表中；这样服务端就可以对就绪链表进行遍历；
如果发现是ServerSocket 的可读事件则表示有新的客户端socket 进行了连接，则 调用accept 获取到客户端的socket 并将其fd 放入到监听的红黑树中，同时绑定fd 的可读事件处理函数；
当有socket 就绪的可读fd 则 解析客户端的请求数据，执行redis 命令 将结果写回到 客户端的缓存中，然后将改客户端记录到 链表中；
遍历客户端的链表，注册客户端的可写事件到客户端的fd，并绑定客户端写事件的处理函数，写处理函数将数据写回到客户端；

拽着尾巴的鱼儿
关注
专栏目录
Redis网络模型
xiaowanziddd的博客
07-02 1448
服务器大多都采用Linux系统,这里我们以Linux为例来讲解： 任何Linux发行版，其系统内核都是Linux.我们的应用都需要通过Linux内核与硬件交互。 为了避免用户应用导致冲突甚至内核崩溃，用户应用与内核是分离的： 阻塞IO,顾名思义就是两个阶段都必须等待： 可以看到，阻塞IO模型中，用户进程在两个阶段都是阻塞状态。顾名思义，非阻塞IO的recvtrom操作会立即返回结果而不是阻塞用户进程。 可以看到，非阻塞IO模型中，用户进程在第一个阶段是非阻塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能
redis源码分析（谁说C语言就不能分析了?）
fengxiandada的博客
07-27 373
redis源码学习
Redis 网络模型
最新发布
快乐的小三菊的博客
06-17 973
Redis 网络模型
【Redis】网络模型
weixin_40381772的博客
01-23 1762
Redis（Remote Dictionary Server）是一个开源的高性能键值对存储系统，广泛用于各种网络应用中作为数据库、缓存和消息代理。Redis的网络模型是其高性能的关键因素之一，它涉及到多个方面，包括内存管理、事件处理、网络协议等。了解Redis的网络模型有助于更好地利用其功能，优化系统的性能和可靠性。
Redis原理篇之网络模型
m0_53157173的博客
05-29 1559
Redis原理篇之网络模型用户空间和内核空间IO模型阻塞IO非阻塞IOIO多路复用Selectselect模式存在的问题pollepoll对比模式对比 用户空间和内核空间 任何Linux发行版,其系统内核都是Linux。 我们的应用都需要通过Linux内核与硬件交互。 操作系统运行起来后,会占用部分系统资源,例如: 内存资源,cpu资源等. 此时,用户应用程序也同样需要占用这些资源,如果不加以限制，那么会和操作系统争抢资源，导致冲突。 为了避免用户应用导致冲突甚至内核崩溃,用户应用与内核是分离的。 进
spring-data-redis 1.7.6
02-07
2. **Reactive支持**：1.7.6版本开始，Spring Data Redis引入了对Reactive编程模型的支持，利用RxJava或Project Reactor实现异步非阻塞的数据访问，以适应微服务和高并发场景的需求。 3. **操作API**：Spring Data ...
redis-source-code-reading:redis 4.0 Mac下clion源码调试-redis source code
03-25
这意味着Redis通过一组命令提供对可变数据结构的访问，这些命令是使用带有TCP套接字和简单协议的服务器-客户端模型发送的。 因此，不同的进程可以以共享的方式查询和修改相同的数据结构。 在Redis中实现的数据结构...
redis-unstable_Redis数据库源码_
09-30
Redis使用事件驱动模型，基于`ae.c`中的事件循环来处理客户端连接和网络I/O。它支持epoll、kqueue、select等不同的事件库，这使得Redis可以在不同平台上高效运行。 5. 单线程模型： 尽管Redis是单线程的，但通过...
【SpringBoot】整合Redis（使用spring-boot-starter-data-redis）
qq_27579471的博客
08-03 9894
前言 Jedis是Redis官方推荐的面向Java的操作Redis的客户端，而RedisTemplate是SpringDataRedis中对JedisApi的高度封装。SpringDataRedis相对于Jedis来说可以方便地更换Redis的Java客户端，比Jedis多了自动管理连接池的特性，方便与其他Spring框架进行搭配使用如：SpringCache。 Lettuce 和 Jedis 的都是连接Redis Server的客户端程序。Jedis在实现上是直连redis server，多线程环境下非线
Redis基本应用模型
11-07
Redis基本应用模型框架图、Redis缓存层设计图、Redis缓存层架构图
javaredis源码-RedisInAction:Redis实战Java源代码
05-20
本文将深入解析这个项目的源码，探讨其核心功能和设计原理，以帮助你更好地理解和应用Redis在实际开发中的各种场景。 1. **Redis简介** Redis是一个高性能的键值存储系统，常用于数据缓存、消息队列以及持久化数据...
redis网络模型
weixin_30333885的博客
04-06 143
多路IO复用－非阻塞同步IO模型。见http://www.cnblogs.com/syyong/p/6231326.html 具体结构：http://blog.jobbole.com/100079/ 网络编程模型：http://www.cnblogs.com/Anker/p/3254269.html select, iocp, epoll,kqueue及各种I/O复用机制 ...
redis 之网络模型
john_zzl的专栏
09-06 3192
#define AE_SETSIZE (1024*10)    /* Max number of fd supported */ redis的网络模型处理的fd必须小于2048（在events结构体中放不下）； /* State of an event based program */ typedef struct aeEventLoop {     int maxfd;     lo
浅谈Redis网络模型
weixin_43907032的博客
05-25 446
Redis 是C语言开发的一个开源高性能键值对的内存数据库，也是一种NoSQL(not-only sql,非关系型数据库)的数据库，可以用来做数据库、缓存、消息中间件等场景。在目前的技术选型中，Redis常常被用来作为数据缓存和分布式锁的解决方案。Redis具有以下几个特点，分别是高性能，多种数据结构，支持持久化，分布式等等：1）高性能：Redis是基于内存的数据存储系统，可以实现高速读写操作，适合用作数据缓存和高速读写的存储系统。
为什么redis网络部分使用了多线程，底层还是单线程
04-04
Redis网络部分使用了多线程的主要原因是为了提高网络IO的处理能力，同时避免由于阻塞IO操作导致的性能下降。但是，底层仍然是单线程的，这是因为Redis采用了事件循环模型，所有的网络IO请求都由一个线程处理，不会出现多个线程竞争同一个资源的情况。此外，单线程的架构也使得Redis可以避免多线程带来的并发控制问题，降低了代码实现的复杂度，提高了代码的可维护性。因此，Redis既能够充分利用多核CPU的优势，又能够保证单线程的高效性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值