Redis线程模型的前世今生

最新推荐文章于 2024-09-11 22:29:47 发布
最新推荐文章于 2024-09-11 22:29:47 发布
阅读量978 收藏 23
点赞数 14
分类专栏： 程序员 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_82241859/article/details/137185889
版权
文章讲述了Java网络编程中的阻塞、非阻塞模式以及IO多路复用原理，通过实例展示了如何使用NIO和多线程解决服务器性能问题，以及Redis采用的IO多路复用策略。最后讨论了Reactor模式在单线程和多线程模型的应用及其优缺点。
摘要由CSDN通过智能技术生成

e.printStackTrace();

} finally {

try {

socket.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

}

}

我们准备用两个客户端同时发起连接请求、来模拟单线程阻塞模式的现象。同时发起连接，通过服务端日志，我们发现此时服务端只接受了其中一个连接，主线程被阻塞在上一个连接的read方法上。

我们尝试关闭第一个连接，看第二个连接的情况，我们希望看到的现象是，主线程返回，新的客户端连接被接受。

从日志中发现，在第一个连接被关闭后，第二个连接的请求被处理了，也就是说第二个连接请求在排队，直到主线程被唤醒，才能接收下一个请求，符合我们的预期。

此时不仅要问，为什么呢？

主要原因在于accept、read、write三个函数都是阻塞的，主线程在系统调用的时候，线程是被阻塞的，其他客户端的连接无法被响应。

通过以上流程，我们很容易发现这个过程的缺陷，服务器每次只能处理一个连接请求，CPU没有得到充分利用，性能比较低。如何充分利用CPU的多核特性呢？自然而然的想到了——多线程逻辑。

2.1.2 多线程阻塞

对工程师而言，代码解释一切，直接上代码。

BIO多线程

package net.io.bio;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.ServerSocket;

import java.net.Socket;

public class BioTest {

public static void main(String[] args) throws IOException {

final ServerSocket server=new ServerSocket(8081);

while(true) {

new Thread(new Runnable() {

public void run() {

Socket socket=null;

try {

socket = server.accept();

System.out.println(“accept port:”+socket.getPort());

BufferedReader in=new BufferedReader(new InputStreamReader(socket.getInputStream()));

String inData=null;

while ((inData = in.readLine()) != null) {

System.out.println(“client port:”+socket.getPort());

System.out.println(“input data:”+inData);

if(“close”.equals(inData)) {

socket.close();

}

}

} catch (IOException e) {

e.printStackTrace();

} finally {

}

}

}).start();

}

}

}

同样，我们并行发起两个请求；

两个请求，都被接受，服务端新增两个线程来处理客户端的连接和后续请求。

我们用多线程解决了，服务器同时只能处理一个请求的问题，但同时又带来了一个问题，如果客户端连接比较多时，服务端会创建大量的线程来处理请求，但线程本身是比较耗资源的，创建、上下文切换都比较耗资源，又如何去解决呢？

2.2 非阻塞

如果我们把所有的Socket（文件句柄，后续用Socket来代替fd的概念，尽量减少概念，减轻阅读负担）都放到队列里，只用一个线程来轮训所有的Socket的状态，如果准备好了就把它拿出来，是不是就减少了服务端的线程数呢？

一起看下代码，单纯非阻塞模式，我们基本上不用，为了演示逻辑，我们模拟了相关代码如下；

package net.io.bio;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.ServerSocket;

import java.net.Socket;

import java.net.SocketTimeoutException;

import java.util.ArrayList;

import java.util.List;

import org.apache.commons.collections4.CollectionUtils;

public class NioTest {

public static void main(String[] args) throws IOException {

final ServerSocket server=new ServerSocket(8082);

server.setSoTimeout(1000);

List sockets=new ArrayList();

while (true) {

Socket socket = null;

try {

socket = server.accept();

socket.setSoTimeout(500);

sockets.add(socket);

System.out.println(“accept client port:”+socket.getPort());

} catch (SocketTimeoutException e) {

System.out.println(“accept timeout”);

}

//模拟非阻塞：轮询已连接的socket，每个socket等待10MS，有数据就处理，无数据就返回，继续轮询

if(CollectionUtils.isNotEmpty(sockets)) {

for(Socket socketTemp:sockets ) {

try {

BufferedReader in=new BufferedReader(new InputStreamReader(socketTemp.getInputStream()));

String inData=null;

while ((inData = in.readLine()) != null) {

System.out.println(“input data client port:”+socketTemp.getPort());

System.out.println(“input data client port:”+socketTemp.getPort() +“data:”+inData);

if(“close”.equals(inData)) {

socketTemp.close();

}

}

} catch (SocketTimeoutException e) {

System.out.println(“input client loop”+socketTemp.getPort());

}

}

}

}

}

}

系统初始化，等待连接；

发起两个客户端连接，线程开始轮询两个连接中是否有数据。

两个连接分别输入数据后，轮询线程发现有数据准备好了，开始相关的逻辑处理（单线程、多线程都可）。

再用一张流程图辅助解释下（系统实际采用文件句柄，此时用Socket来代替，方便大家理解）。

服务端专门有一个线程来负责轮询所有的Socket，来确认操作系统是否完成了相关事件，如果有则返回处理，如果无继续轮询，大家一起来思考下？此时又带来了什么问题呢。

CPU的空转、系统调用（每次轮询到涉及到一次系统调用，通过内核命令来确认数据是否准备好），造成资源的浪费，那有没有一种机制，来解决这个问题呢？

2.3 IO多路复用

server端有没专门的线程来做轮询操作（应用程序端非内核），而是由事件来触发，当有相关读、写、连接事件到来时，主动唤起服务端线程来进行相关逻辑处理。模拟了相关代码如下；

IO多路复用

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.ServerSocketChannel;

import java.nio.channels.SocketChannel;

import java.nio.charset.Charset;

import java.util.Iterator;

import java.util.Set;

public class NioServer {

private static Charset charset = Charset.forName(“UTF-8”);

public static void main(String[] args) {

try {

Selector selector = Selector.open();

ServerSocketChannel chanel = ServerSocketChannel.open();

chanel.bind(new InetSocketAddress(8083));

chanel.configureBlocking(false);

chanel.register(selector, SelectionKey.OP_ACCEPT);

while (true){

int select = selector.select();

if(select == 0){

System.out.println(“select loop”);

continue;

}

System.out.println(“os data ok”);

Set selectionKeys = selector.selectedKeys();

Iterator iterator = selectionKeys.iterator();

while (iterator.hasNext()){

SelectionKey selectionKey = iterator.next();

if(selectionKey.isAcceptable()){

ServerSocketChannel server = (ServerSocketChannel)selectionKey.channel();

SocketChannel client = server.accept();

client.configureBlocking(false);

client.register(selector, SelectionKey.OP_READ);

//继续可以接收连接事件

selectionKey.interestOps(SelectionKey.OP_ACCEPT);

}else if(selectionKey.isReadable()){

//得到SocketChannel

SocketChannel client = (SocketChannel)selectionKey.channel();

//定义缓冲区

ByteBuffer buffer = ByteBuffer.allocate(1024);

StringBuilder content = new StringBuilder();

while (client.read(buffer) > 0){

buffer.flip();

content.append(charset.decode(buffer));

}

System.out.println(“client port:”+client.getRemoteAddress().toString()+",input data: "+content.toString());

//清空缓冲区

buffer.clear();

}

iterator.remove();

}

}

} catch (Exception e) {

e.printStackTrace();

}

}

}

同时创建两个连接；

两个连接无阻塞的被创建；

无阻塞的接收读写；

再用一张流程图辅助解释下（系统实际采用文件句柄，此时用Socket来代替，方便大家理解）。

当然操作系统的多路复用有好几种实现方式，我们经常使用的select()，epoll模式这里不做过多的解释，有兴趣的可以查看相关文档，IO的发展后面还有异步、事件等模式，我们在这里不过多的赘述，我们更多的是为了解释Redis线程模式的发展。

三、NIO线程模型解释

===========

我们一起来聊了阻塞、非阻塞、IO多路复用模式，那Redis采用的是哪种呢？

Redis采用的是IO多路复用模式，所以我们重点来了解下多路复用这种模式，如何在更好的落地到我们系统中，不可避免的我们要聊下Reactor模式。

首先我们做下相关的名词解释；

Reactor：类似NIO编程中的Selector，负责I/O事件的派发；

Acceptor：NIO中接收到事件后，处理连接的那个分支逻辑；

Handler：消息读写处理等操作类。

3.1 单Reactor单线程模型

处理流程

  • Reactor监听连接事件、Socket事件，当有连接事件过来时交给Acceptor处理，当有Socket事件过来时交个对应的Handler处理。

优点

  • 模型比较简单，所有的处理过程都在一个连接里；

  • 实现上比较容易，模块功能也比较解耦，Reactor负责多路复用和事件分发处理，Acceptor负责连接事件处理，Handler负责Scoket读写事件处理。

缺点

  • 只有一个线程，连接处理和业务处理共用一个线程，无法充分利用CPU多核的优势。

  • 在流量不是特别大、业务处理比较快的时候系统可以有很好的表现，当流量比较大、读写事件比较耗时情况下，容易导致系统出现性能瓶颈。

怎么去解决上述问题呢？既然业务处理逻辑可能会影响系统瓶颈，那我们是不是可以把业务处理逻辑单拎出来，交给线程池来处理，一方面减小对主线程的影响，另一方面利用CPU多核的优势。这一点希望大家要理解透彻，方便我们后续理解Redis由单线程模型到多线程模型的设计的思路。

3.2 单Reactor多线程模型

这种模型相对单Reactor单线程模型，只是将业务逻辑的处理逻辑交给了一个线程池来处理。

处理流程

  • Reactor监听连接事件、Socket事件，当有连接事件过来时交给Acceptor处理，当有Socket事件过来时交个对应的Handler处理。

  • Handler完成读事件后，包装成一个任务对象，交给线程池来处理，把业务处理逻辑交给其他线程来处理。
    自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

img

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

最新整理面试题
在这里插入图片描述

上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题

最新整理电子书

在这里插入图片描述

最新整理大厂面试文档

在这里插入图片描述

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

img

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

最新整理面试题
[外链图片转存中…(img-PwAugUc5-1711809585533)]

上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题

最新整理电子书

[外链图片转存中…(img-cyuNRe55-1711809585533)]

最新整理大厂面试文档

[外链图片转存中…(img-byr0Mozf-1711809585533)]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！

2301_82241859
关注
专栏目录
Redis多线程架构的演进
芋艿V
10-11 99
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
使用 Java NIO 实现 Simple Redis 服务端 客户端
凳子
07-18 940
最近在学习NIO，想找个demo来练练手，然后发现用java nio来简单实现redis应该挺有趣的。 Java NIO 概览 首先，java nio有3个重要的类： * ByteBuffer: 用于读写数据，实际上是byte数组的一个封装。它的使用方式还是比较有趣的，需要注意的一点是在写模式转换为读模式时需要flip()。 * Channel: 用于维护服务端与客户端的通信通道。 ...
学习使用socket编程,并自己实现一个简单的redis客户端
sqlgao22的博客
11-01 728
文章参考1:https://blog.csdn.net/weixin_39634961/article/details/80236161 文章参考2:https://blog.csdn.net/weixin_39569611/article/details/81879266 文章参考3:https://blog.csdn.net/a78270528/article/details/80318571...
Redis 线程模型的前世今生
wadfdhsajd的博客
05-31 83
一、概述 众所周知，Redis 是一个高性能的数据存储框架，在高并发的系统设计中，Redis 也是一个比较关键的组件，是我们提升系统性能的一大利器。深入去理解 Redis 高性能的原理显得越发重要，当然 Redis 的高性能设计是一个系统性的工程，涉及到很多内容，本文重点关注 Redis 的 IO 模型，以及基于 IO 模型的线程模型。 我们从 IO 的起源开始，讲述了阻塞 IO、非阻塞 IO、多路复用 IO。基于多路复用 IO，我们也梳理了几种不同的 Reactor 模型，并分析了几种 Rea
redis的前世今生(一)
weixin_42174815的博客
08-01 523
写在文章之前 redis刚学时只了解了个大概，操作了下基本的增删改查，也没有练手它的常见应用场景，所以对于底层原理和实现过程都不清楚了解。最近在填以前落下的坑，这里记录下redis。深入学习了一番，发现有不少知识盲区，更多陌生的词出现了，或许这就是学习的常态吧。 什么是redis 说到redis，就不能不说下nosql。 redis是一个nosql(not only sql)数据库，翻译成中文叫做非关系型型数据库。 什么是nosql? NoSQL，泛指非关系型的数据库，它可以作为关系型数据库的良好补充。
Redis面试题(二)：单线程的Redis为什么这么快
qq_37805943的博客
07-04 172
Redis的IO多路复用 主要组成部分：套接字，I/O多路复用程序，队列，事件分派器，事件处理器 图片套接字：通常指的是封装了ip和port的结构体。主要对进程间通信或者网络通信的抽象。比如我们建立一个tcp连接，本质上就是两端都有一个套接字，记录了源ip，端口和目的ip，端口。也像一个类，里面有这些属性。一个套接字可以理解成是一个服务端(客户端)I/O多路复用程序：多路：多个客户端，复用：一个线程。 比如我们模拟服务器处理1024个客户端请求，根据TCP的三次握手请求，服务端和客户端才会成功建立链接，此时
一文理清OCR的前世今生
AI相关从业分享
06-19 1328
什么是OCR?计算机文字识别，光学字符识别，英文全称Optical Charater Recognition,简称OCR.是利用光学技术和计算机技术把印刷在或者写在图纸上的文字以文本形式提取出来，并转换成一种计算机能够接受、人又可以理解的格式的技术。OCR技术是实现文字快速录入的一项关键技术。在信息社会时代，每天会产生大量的票据、表单、证件数据，这些数据要电子化，需要利用OCR技术进行提取录入。简而言之，OCR其本质是一种信息提取手段，也是一种工作提效方法。
全面理解并发编程之分布式架构下Redis、ZK分布式锁的前世今生
lt_xiaodou的博客
10-05 430
本篇中从单机锁的隐患 -> 分布式架构下的安全问题引出 -> 分布式锁的实现推导 -> redis实现分布式锁 -> redis实现分布式锁的细节问题分析 -> redisson框架实现及其连锁应用与源码分析 -> zookeeper实现分布式锁 -> zookeeper实现原理这条思路依次剖析了分布式锁的前世今生，总的一句话概括分布式锁的核心原理就是：在多个进程中所有线程都可见的区域实现了互斥量而已。最后再来说说Redis与Zookeeper实现的区别与项目中如何抉择？
Redis入门--万字长文详解epoll
qq_42583242的博客
09-16 1728
初始Redis Redis自此开始，希望善始善终 文章目录初始Redis一、计算机基础常识1、磁盘与内存2、I/O Buffer：4K3、Data page：4K4、索引5、B+树二、缓存三、Redis1、Redis优势--计算向数据移动2、Redis 如何处理高并发？--Epoll保证并发效率--epoll保证线程安全--单线程四、IO 技术的发展1、BIO2、NIO3、多路复用4、mmap--共享空间5、epoll6、总结7、补充：零拷贝技术--sendfile 一、计算机基础常识 1、磁盘与内存 数据
【第0天】MYSQL快速入门-了解MYSQL前世今生，为了更好探索未来（SQL 小虚竹)
热门推荐
小虚竹的专栏
10-03 1万+
了解MYSQL
阿里p8从开发、运维两个角度总结了Redis实战经验，看完茅塞顿开
m0_66491772的博客
01-24 170
从开发、运维两个角度总结了Redis实战经验，深入浅出地剖析底层实现，包含大规模集群开发与运维的实际案例、应用技巧。 前言 Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。掌握Redis已经逐步成为开发和运维人员的必备技能之一。 本书关注了Redis开发运维的方方面面，尤其对于开发运维中如何提高效率、减少可能遇到的问题进行详细分析，但本书不单单介绍怎么解决这些问题，而是通过对Redi
【Java多线程】JUC之显示锁(Lock)与初识AQS(队列同步器)
墩墩分墩
11-22 1330
**锁机制用于保证操作的原子性、可见性、顺序性**。`JDK1.5的concurrent并发包`中新增了`Lock接口以及相关实现类来实现锁功能`，最明显的特性就是需要显式的申请锁和释放锁。比synchronized更加灵活。 >显示锁的释放锁的操作一定要放到finally块中，否则可能会因为异常导致锁永远无法释放！这是显式锁最明显的缺点。
Redis 篇- 实战项目中使用 Redis 实现经典功能（异步秒杀商品、点赞功能、共同关注的好友、投喂功能）
最新发布
小扳手
09-11 1741
查看消息的时候，按照时间来查看，从最新的时间到最旧的时间的顺序来进行查看，比如说，朋友圈，打开朋友圈最先看到的是最新的好友信息，用户查询自己的收件箱，比如像朋友圈，按照时间来排序好友发布的信息，而查看好友的朋友圈的时候，从上至下，来查看好友的消息。从用户集合中查询信息也不难，在实现的时候不就是直接去查看当前用户的收件箱，其实不然，需要考虑的细节还挺多的。
Redis
qq_59677536的博客
09-11 1364
redis数据库详解、安装步骤、操作命令
springboot luttuc redis 集成protobuf，手动序列化反序列化
IT_Octopus的博客
09-11 494
3.考虑到其他项目使用原生的luttuce，不支持key/value 结构不一致，所以对redis key field value 都进行压缩了（关注官网变更哦，后面会支持。路径一致，否则会报错。2.由于为了和公司其他的项目达成一致，所以版本，依赖 都尽量保证一致，所以版本需要各位看官具体决定了哈(团队使用时不同版本会有冲突)4.由于初期设计的.proto文件，可能存在压缩不完全的问题(后面会具体聊)，大家可以见仁见智了啊，欢迎反馈。这个是对可变的Map 进行压缩的，可能会压缩不完全。
KubeCon China 回顾｜快手的 100% 资源利用率提升：从裸机迁移大规模 Redis 到 Kubernetes
baidu_41642080的博客
09-10 1014
本文分享了如何将大规模的 Redis 实例从裸机迁移到 Kubernetes 上来提高资源的利用率
Redis 集群高可用详解及配置
TYM121380的博客
09-04 1967
Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库Redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛。
Redis线程模型与分布式一致性解析
"Redis线程模型，分布式一致性1" Redis是一种高性能的键值数据库，它以其单线程模型和强大的数据一致性保证而闻名。在深入理解Redis的线程模型和分布式一致性之前，我们先要明白Redis的基本工作原理。 Redis采用单...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值