NIO多路复用以及select/poll/epoll

最新推荐文章于 2024-07-15 22:57:14 发布
最新推荐文章于 2024-07-15 22:57:14 发布
阅读量582 收藏
点赞数
分类专栏： io流 高并发 文章标签： NIO 多路复用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNzhangtao5/article/details/103023972
版权
本文介绍了IO多路复用机制，用于提升并发吞吐量，常见于netty和kafka等中间件。NIO避免了BIO的阻塞问题，但高并发下需要遍历所有连接。NIO多路复用通过select、poll、epoll等方式优化，其中epoll利用内核反射模式提高效率，但在所有Socket活跃时可能存在资源竞争问题。
摘要由CSDN通过智能技术生成

IO多路复用机制：程序注册一组socket文件描述符给操作系统，监视这些fd是否有IO事件发生，有了就告诉程序处理。是一种触发式、批量式的解决方案。现在主流的中间件：netty、kafka都是采用的多路复用技术，来提升并发吞吐量

 

首先我们先了解BIO

当用read去读取网络的数据时，是无法预知对方是否已经发送数据的。因此在收到数据之前，能做的只有等待，直到对方把数据发过来，或者等到网络超时。

对于单线程的网络服务，这样做就会有卡死的问题。因为当等待时，整个线程会被挂起，无法执行，也无法做其他的工作。

 

NIO

在NIO模式下，调用read，如果发现没数据已经到达，就会立刻返回-1, 不会阻塞线程。NIO是现在主流的一种异步IO解决方案，但是使用NIO还是会存在问题，就是需要去一个个遍历所有的IO连接，是否有新的事件产生，在高并发时场景下，效率低下。这时NIO多路复用就应然产生了。

 

NIO多路复用

NIO多路复用，I/O就是指的我们网络I/O,多路指多个TCP连接(或多个Channel)，复用指复用一个或少量线程。串起来理解就是很多个网络I/O复用一个或少量的线程来处理这些连接

首先需要了解linux系统内核提供的IO 多路复用调用函数

最低0.47元/天 解锁文章
卡肤卡
关注
专栏目录
Java NIO - IO多路复用
Liarboy
09-28 3554
提供了非阻塞调用的方式，从操作系统层面解决了阻塞问题。将 socket 是否就绪检查逻辑下沉到操作系统层面，避免大量系统调用。告诉你有事件就绪，但是没告诉你具体是哪个 FD。epoll 直接将 fd 集合维护在内核中，通过红黑树来高效管理 fd 集合，同时维护一个就绪列表，当 fd 就绪后会添加到就绪列表中，当应用空间调用 epoll_wait 获取就绪事件时，内核直接判断就绪列表即可知道是否有事件就绪。
BIO/NIO/多路复用/Selector/select/poll/epoll
Apollo的博客
03-27 1872
前言 进行总结的初衷是没搞明白linux下的select/poll/epoll与java下nio的selector多路复用器的关系，于是对知识点进行了梳理。 先上结论，selector多路复用器算是对linux下的select/poll/epoll进行封装，selector可以i有多种实现，linux系统下默认使用epoll的实现方式。 BIO模型 https://www.jianshu.com/p/138847d5cafd BIO即为阻塞IO的意思，通常我们讲BIO的时候都会和服务器模型配合着讲，在实际应
NIO——多路复用
m0_60742341的博客
11-18 788
1、NIO是用来解决高并发、IO高性能的有效方法。NIO就是同步非阻塞，服务器实现模式为一个线程处理多个客户端的连接（BIO是阻塞型的，一个服务端线程只能处理一个客户端发来的连接）。NIO实现这个功能是通过Selector多路复用器。2、NIO中有三个核心的组件，分别是：Channel（通道，常用两种，分别是客户端和服务端的）、Buffer（缓冲区）、Selector（多路复用器）在这张图中1.每个Channel对应一个Buffer。
NIO之多路复用
qq_45243783的博客
10-05 2859
一：NIO简介 1） Java BIO :同步并阻塞(传统阻塞型)，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个线程不做任何事情就会造成不必要的开销 2） Java NIO: 同步非阻塞，服务器实现模式为一个线程处理多个请求(连接)，即客户端发送的请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求就进行处理 二、操作系统的几个基本概念 1.内核态和用户态 内核态：cpu可以访问内存的所有数据，包括外围设备，例如磁盘、网卡、cpu也可以将自己
NIO+多路复用
沉默的夏虫
05-08 389
BIO建立连接或者io读写操作都是阻塞的，所有多个客户端为了满足及时响应，我们可能需要主动开启多线程 NIO建立连接或者io读写操作都是非阻塞的，如果不实用多路复用，但是想满足相应，可能需要循环获取连接，如果成功了，将连接记录到list中，循环中再套一个循环遍历list，进行io读写操作 NIO+多路复用（epoll是linux特有的时间复杂度O(1)当有io就绪时被动的被event通知到，连接数量无限制；select大多数操作系统都支持时间复杂度O(n)每次都是内核去遍历所有连接拿到就绪的连接数量有限
NIO和多路复用
Songbl_的博客
08-17 564
多路复用，nio
NIO底层：IO多路复用与Select/Poll/Epoll
weixin_41021172的博客
03-01 633
IO多路复用 相信各位小伙伴在学习JavaIO知识时会看到其底层实现是使用了操作系统中的IO多路复用。 那么IO多路复用到底是什么呢？ 面试题中出现的select/poll/epoll，poll和epoll的区别又指的是什么呢？ 今天我就带大家来看下： I/O多路复用（multiplexing）的本质是通过一种机制（系统内核缓冲I/O数据），让单个进程可以监视多个文件描述符，一旦某个描述符就绪（...
【Redis】IO多路复用 及 Select、Poll、Epoll、NIO
火火的博客
12-17 2230
文章目录文件事件处理器【I/O多路复用程序】的实现文件事件的处理器连接应答处理器：命令请求处理器：命令回复处理器一次完整的客户端与服务器链接示例 文件事件处理器 Redis开发了一个文件事件处理器，文件事件处理器使用I/O多路复用（multiplexing）程序来同时监听多个套接字， 并根据套接字目前执行的任务来为套接字关联不同的事件处理器。 当被监听的套接字准备好执行 连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时， 与操作相对应的文件事件就会产生，此时，文件事
IO那些事儿（BIO、NIO、AIO、多路复用、select、poll、epoll）
Lavender-csdn的博客
03-14 434
这篇文章真没想着怎么怎么深入这些概念，只能说尽可能自己在学习的过程中说清楚，加深理解和印象，毕竟基本上全是操作系统底层的原理，现在更多对本科学的操作系统的印象停留在：虚拟存储、页面置换算法这些东西。说实话，底层的东西觉得难，学起来吃力、忘得也就快了。 IO 简单一点，就是对输入数据和输出数据的处理，读写数据。 BIO 同步阻塞。基于线程的驱动模型。BIO最重要的是理解"B"是什么，blocking，阻塞的意思，直接看一段代码，这段代码是网络编程服务器端的一段代码。总体大意就是服务器端与客户端要连接，
NIO多路复用-NIOClient
qq_43058337的博客
08-24 712
package com.aura.io1804.nio; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.ClosedChannelException; import java.nio.channels.S...
NIO多路复用机制
wr_java的博客
03-03 2366
NIO多路复用机制 客户端与服务器每次网络通讯, 会建立一个连接, 创建socket, 以soket为媒介, 发送和接收输入输出流.进行流的读写操作. 介绍下BIO、NIO和AIO BIO(blocking I/O) 同步阻塞 JDK1.4之前,是面向流传输的, 传输效率慢, 客户端每次发起一个请求, 建立一个连接, 都创建一个socket对象, 不管有没有流的传输, 服务器都创建一个线程, 但有些线程不会执行流的读写操作是无效的. 线程多了会占用过多的资源,浪费堆的内存空间(可以采用线程池去管理线程
【NIO】IO多路复用
LoveSummer
02-03 984
上节，我们讲解了阻塞和非阻塞，我们今天讲第三种IO模型，这就是IO多路复用。 引入多路复用的原因 实际上，在服务端与客户端一对一通信的时候，同步阻塞式地读写并不会有太大的问题，最典型的就是两个对等机器之间建立了TCP连接，并且通过TCP连接来发送一个大文件，有大量的数据传输。在这种场景中，阻塞式的写法简单高效。 但是，在服务器场景下，例如，一个 Web Server，它的特点是客户端很多，连接时间很短，数据发送量很小（一个网页几十到几百K），为了让每一个用户都能得到及时的响应，我们可以使用多线程的方式来实现
BIO与NIO与多路复用
wujialv的博客
09-05 417
什么是IO 首先需要了解下什么是IO，IO就是读入/写出数据的过程，和等待读入/写出数据的过程。 举个列子，应用程序想要将数据写到操作系统磁盘文件中，是需要将数据从用户空间拷贝到操作系统内核空间，再由内核空间将数据写入到磁盘中。读取也是一样，都需要经过内核空间。这里主要将网络的IO。 系统调用 网络IO模型 上图为网络IO模型 BIO 顾名思义，Blocking IO，阻塞IO，以前传统的网络IO为阻塞IO，Java代码如下： public class BioServerT...
NIO多路复用
MrLiar的博客
09-15 1030
多路复用就是通过一种机制，复用同一个线程可以监听多个描述符，一旦某个描述符就绪（可以读/写），就通过某种方法（select、poll、epoll）就通知用户进程进行相应read、write操作。 在select，poll，epoll出现之前，最初处理多路复用的方法是：通过非阻塞忙轮询I/O的方式处理多个描述符特点：不停的从头到尾地轮询所有描述符缺点：如果所有的描述符都没有数据返回，cpu空转，浪费cpu资源。 1、select： 为了解决原始处理方式的cpu空转浪费资源问题，引入了一个sele...
NIO - 多路复用
秃头的博客
08-26 339
多路复用 - Selector 一个线程配合 selector 就可以监控多个 channel 的事件，事件发生线程才去处理。避免非阻塞模式下所做无用功 connect - 客户端连接成功时触发 accept - 服务器端成功接受连接时触发 read - 数据可读入时触发，有因为接收能力弱，数据暂不能读入的情况 write - 数据可写出时触发，有因为发送能力弱，数据暂不能写出的情况 每个 channel 都需要记录可能被切分的消息，因为 ByteBuffer 不能被多个 channel 共同使用，因此需要
Java的NIO和多路复用
www_tlj的专栏
01-29 1805
Java NIO和多路复用结合使用，提供了一种高效处理多个并发I/O操作的方式。NIO通过缓冲区和通道提供了一种新的I/O处理模型，而多路复用通过选择器允许单个线程有效管理多个通道。这种模型特别适合需要处理高并发网络连接的应用程序，如高性能服务器。这个示例是一个简单的NIO服务器，展示了如何使用选择器和非阻塞I/O来处理多个客户端连接。在实际应用中，还需要考虑异常处理、资源管理、数据编码/解码等更多复杂的情况。NIO的这种模型特别适合构建高性能和高并发的网络服务器。
NIO的多路复用机制
u013801987的博客
04-29 2817
在一次磁盘操作中，CPU不是瓶颈，瓶颈是内存和网络，IO操作，所以redis是通过在提高CPU的利用上，增加处理速率。 一般提高CPU的利用是通过多线程，一般线程数是cpu核数的2倍，但是redis是通过单线程实现的；一方面是因为多线程存在上下文切换（用户态和内核态的切换）消耗问题，另一方面是因为redis采用IO多路复用机制。 面试时，redis被问到了3次，每一次都是一个惨痛的教训，希望读者朋...
NIO中的多路复用
bingjing12345的专栏
02-27 3522
多路复用 对比 线程池 伪异步的优点：使用线程池模型：假设机器A可以开1000个线程，那最多就是1000个连接。因为网络IO较慢且需要阻塞，此时可能有900个线程处于阻塞在网络IO处的状态。也就是只有100个线程在干别的事情。这样对整个机器A的所有资源都是浪费。使用多路复用以后， 网络IO阻塞不在占用独有的线程。同样是机器A，做实际事情的线程数可能可以开到1000， 实际做事的效率就<str...
AIO、BIO、NIO、IO多路复用
最新发布
weixin_62505995的博客
07-15 1295
第一阶段，判断有没有事件发生（或判断数据有没有准备好，或判断Socket是否就绪）第二阶段，在数据准备好以后，执行真正的读（或写）操作，将数据从内核空间拷贝到用户空间。通过第一个阶段是否阻塞判断是阻塞IO还是非阻塞IO，通过两个阶段是否有阻塞判断是同步IO还是异步IO。2、BIO在Socket多的情况下，线程数就会很多，因为BIO一个任务分配一个线程，大量线程处于阻塞，且会导致频繁的上下文切换，导致较大的性能开销。
Netty线程模型详解：从I/O多路复用到Reactor
如select、poll和epoll是Linux系统中常见的多路复用技术。select在处理大量文件描述符时性能下降，而poll则消除了这个限制，但它们都依赖轮询机制。epoll则更进一步，通过边缘触发（ET）模式和回调函数，只关注就绪...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值