NIO多路复用以及select/poll/epoll

最新推荐文章于 2024-08-04 21:20:46 发布
原创 最新推荐文章于 2024-08-04 21:20:46 发布 · 674 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#NIO #多路复用

本文介绍了IO多路复用机制，用于提升并发吞吐量，常见于netty和kafka等中间件。NIO避免了BIO的阻塞问题，但高并发下需要遍历所有连接。NIO多路复用通过select、poll、epoll等方式优化，其中epoll利用内核反射模式提高效率，但在所有Socket活跃时可能存在资源竞争问题。

IO多路复用机制：程序注册一组socket文件描述符给操作系统，监视这些fd是否有IO事件发生，有了就告诉程序处理。是一种触发式、批量式的解决方案。现在主流的中间件：netty、kafka都是采用的多路复用技术，来提升并发吞吐量

 

首先我们先了解BIO

当用read去读取网络的数据时，是无法预知对方是否已经发送数据的。因此在收到数据之前，能做的只有等待，直到对方把数据发过来，或者等到网络超时。

对于单线程的网络服务，这样做就会有卡死的问题。因为当等待时，整个线程会被挂起，无法执行，也无法做其他的工作。

 

NIO

在NIO模式下，调用read，如果发现没数据已经到达，就会立刻返回-1, 不会阻塞线程。NIO是现在主流的一种异步IO解决方案，但是使用NIO还是会存在问题，就是需要去一个个遍历所有的IO连接，是否有新的事件产生，在高并发时场景下，效率低下。这时NIO多路复用就应然产生了。

 

NIO多路复用

NIO多路复用，I/O就是指的我们网络I/O,多路指多个TCP连接(或多个Channel)，复用指复用一个或少量线程。串起来理解就是很多个网络I/O复用一个或少量的线程来处理这些连接

首先需要了解linux系统内核提供的IO 多路复用调用函数

Select:

linux内核提供的方法：

       /* According
最低0.47元/天 解锁文章
JavaIO流系列之NIO流(多路复用技术)
杰尼龟的小龟壳的博客
05-27 835
NIO是Java提供的一种基于Channel和Buffer的IO操作方式，即：利用内存映射文件方式处理输入和输出。NIO具有更加强大和灵活的IO操作能力，提供了非阻塞IO、多路复用等特性，特别适合需要处理大量连接的网络编程场景在JDK1.4时提出了NIO(New I/O)，在BIO模型(Blocking IO)的基础上，增加了NIO模型(Non-Blocking IO)，即同步非阻塞方式。
BIO/NIO/多路复用/Selector/select/poll/epoll
Apollo的博客
03-27 2120
前言 进行总结的初衷是没搞明白linux下的select/poll/epoll与java下nio的selector多路复用器的关系，于是对知识点进行了梳理。 先上结论，selector多路复用器算是对linux下的select/poll/epoll进行封装，selector可以i有多种实现，linux系统下默认使用epoll的实现方式。 BIO模型 https://www.jianshu.com/p/138847d5cafd BIO即为阻塞IO的意思，通常我们讲BIO的时候都会和服务器模型配合着讲，在实际应
Java NIO - IO多路复用
Liarboy
09-28 3748
提供了非阻塞调用的方式，从操作系统层面解决了阻塞问题。将 socket 是否就绪检查逻辑下沉到操作系统层面，避免大量系统调用。告诉你有事件就绪，但是没告诉你具体是哪个 FD。epoll 直接将 fd 集合维护在内核中，通过红黑树来高效管理 fd 集合，同时维护一个就绪列表，当 fd 就绪后会添加到就绪列表中，当应用空间调用 epoll_wait 获取就绪事件时，内核直接判断就绪列表即可知道是否有事件就绪。
NIO的多路复用机制
u013801987的博客
04-29 2900
在一次磁盘操作中，CPU不是瓶颈，瓶颈是内存和网络，IO操作，所以redis是通过在提高CPU的利用上，增加处理速率。 一般提高CPU的利用是通过多线程，一般线程数是cpu核数的2倍，但是redis是通过单线程实现的；一方面是因为多线程存在上下文切换（用户态和内核态的切换）消耗问题，另一方面是因为redis采用IO多路复用机制。 面试时，redis被问到了3次，每一次都是一个惨痛的教训，希望读者朋...
NIO——多路复用
m0_60742341的博客
11-18 1085
1、NIO是用来解决高并发、IO高性能的有效方法。NIO就是同步非阻塞，服务器实现模式为一个线程处理多个客户端的连接（BIO是阻塞型的，一个服务端线程只能处理一个客户端发来的连接）。NIO实现这个功能是通过Selector多路复用器。2、NIO中有三个核心的组件，分别是：Channel（通道，常用两种，分别是客户端和服务端的）、Buffer（缓冲区）、Selector（多路复用器）在这张图中1.每个Channel对应一个Buffer。
NIO之多路复用
qq_45243783的博客
10-05 2978
一：NIO简介 1） Java BIO :同步并阻塞(传统阻塞型)，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个线程不做任何事情就会造成不必要的开销 2） Java NIO: 同步非阻塞，服务器实现模式为一个线程处理多个请求(连接)，即客户端发送的请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求就进行处理 二、操作系统的几个基本概念 1.内核态和用户态 内核态：cpu可以访问内存的所有数据，包括外围设备，例如磁盘、网卡、cpu也可以将自己
多路I/O复用之select、poll、epoll
最新发布
m0_61990249的博客
08-04 867
多路I/O复用之select、poll、epoll
NIO多路复用底层原理(Select、Poll、EPoll)
qq_41563912的博客
09-06 6593
NIO一、NIO概述1. BIO2. NIO二、文件描述符三、Select、Poll、EPoll1. Select2. Poll模型3. EPoll模型四、总结1. 大致过程如下: 一、NIO概述 1. BIO         BIO，即Blockig IO，阻塞IO，一个线程对应一个连接，如果你的服务器有很多用户，每个用户都需要与你的服务器建立一个连接，那么你有多少用户，你的服务器就得创建多少个线程，显然是不显示的，而且每个线
NIO底层：IO多路复用与Select/Poll/Epoll
weixin_41021172的博客
03-01 698
IO多路复用 相信各位小伙伴在学习JavaIO知识时会看到其底层实现是使用了操作系统中的IO多路复用。 那么IO多路复用到底是什么呢？ 面试题中出现的select/poll/epoll，poll和epoll的区别又指的是什么呢？ 今天我就带大家来看下： I/O多路复用（multiplexing）的本质是通过一种机制（系统内核缓冲I/O数据），让单个进程可以监视多个文件描述符，一旦某个描述符就绪（...
NIO+多路复用
沉默的夏虫
05-08 432
BIO建立连接或者io读写操作都是阻塞的，所有多个客户端为了满足及时响应，我们可能需要主动开启多线程 NIO建立连接或者io读写操作都是非阻塞的，如果不实用多路复用，但是想满足相应，可能需要循环获取连接，如果成功了，将连接记录到list中，循环中再套一个循环遍历list，进行io读写操作 NIO+多路复用（epoll是linux特有的时间复杂度O(1)当有io就绪时被动的被event通知到，连接数量无限制；select大多数操作系统都支持时间复杂度O(n)每次都是内核去遍历所有连接拿到就绪的连接数量有限
NIO和多路复用
Songbl_的博客
08-17 622
多路复用，nio
NIO多路复用-NIOClient
qq_43058337的博客
08-24 788
package com.aura.io1804.nio; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.ClosedChannelException; import java.nio.channels.S...
NIO多路复用机制
wr_java的博客
03-03 2438
NIO多路复用机制 客户端与服务器每次网络通讯, 会建立一个连接, 创建socket, 以soket为媒介, 发送和接收输入输出流.进行流的读写操作. 介绍下BIO、NIO和AIO BIO(blocking I/O) 同步阻塞 JDK1.4之前,是面向流传输的, 传输效率慢, 客户端每次发起一个请求, 建立一个连接, 都创建一个socket对象, 不管有没有流的传输, 服务器都创建一个线程, 但有些线程不会执行流的读写操作是无效的. 线程多了会占用过多的资源,浪费堆的内存空间(可以采用线程池去管理线程
【NIO】IO多路复用
LoveSummer
02-03 1131
上节，我们讲解了阻塞和非阻塞，我们今天讲第三种IO模型，这就是IO多路复用。 引入多路复用的原因 实际上，在服务端与客户端一对一通信的时候，同步阻塞式地读写并不会有太大的问题，最典型的就是两个对等机器之间建立了TCP连接，并且通过TCP连接来发送一个大文件，有大量的数据传输。在这种场景中，阻塞式的写法简单高效。 但是，在服务器场景下，例如，一个 Web Server，它的特点是客户端很多，连接时间很短，数据发送量很小（一个网页几十到几百K），为了让每一个用户都能得到及时的响应，我们可以使用多线程的方式来实现
NIO多路复用
MrLiar的博客
09-15 1140
多路复用就是通过一种机制，复用同一个线程可以监听多个描述符，一旦某个描述符就绪（可以读/写），就通过某种方法（select、poll、epoll）就通知用户进程进行相应read、write操作。 在select，poll，epoll出现之前，最初处理多路复用的方法是：通过非阻塞忙轮询I/O的方式处理多个描述符特点：不停的从头到尾地轮询所有描述符缺点：如果所有的描述符都没有数据返回，cpu空转，浪费cpu资源。 1、select： 为了解决原始处理方式的cpu空转浪费资源问题，引入了一个sele...
NIO - 多路复用
秃头的博客
08-26 406
多路复用 - Selector 一个线程配合 selector 就可以监控多个 channel 的事件，事件发生线程才去处理。避免非阻塞模式下所做无用功 connect - 客户端连接成功时触发 accept - 服务器端成功接受连接时触发 read - 数据可读入时触发，有因为接收能力弱，数据暂不能读入的情况 write - 数据可写出时触发，有因为发送能力弱，数据暂不能写出的情况 每个 channel 都需要记录可能被切分的消息，因为 ByteBuffer 不能被多个 channel 共同使用，因此需要
Java的NIO和多路复用
www_tlj的专栏
01-29 1980
Java NIO和多路复用结合使用，提供了一种高效处理多个并发I/O操作的方式。NIO通过缓冲区和通道提供了一种新的I/O处理模型，而多路复用通过选择器允许单个线程有效管理多个通道。这种模型特别适合需要处理高并发网络连接的应用程序，如高性能服务器。这个示例是一个简单的NIO服务器，展示了如何使用选择器和非阻塞I/O来处理多个客户端连接。在实际应用中，还需要考虑异常处理、资源管理、数据编码/解码等更多复杂的情况。NIO的这种模型特别适合构建高性能和高并发的网络服务器。
NIO中的多路复用
bingjing12345的专栏
02-27 3584
多路复用 对比 线程池 伪异步的优点：使用线程池模型：假设机器A可以开1000个线程，那最多就是1000个连接。因为网络IO较慢且需要阻塞，此时可能有900个线程处于阻塞在网络IO处的状态。也就是只有100个线程在干别的事情。这样对整个机器A的所有资源都是浪费。使用多路复用以后， 网络IO阻塞不在占用独有的线程。同样是机器A，做实际事情的线程数可能可以开到1000， 实际做事的效率就<str...
AIO、BIO、NIO、IO多路复用
weixin_62505995的博客
07-15 1613
第一阶段，判断有没有事件发生（或判断数据有没有准备好，或判断Socket是否就绪）第二阶段，在数据准备好以后，执行真正的读（或写）操作，将数据从内核空间拷贝到用户空间。通过第一个阶段是否阻塞判断是阻塞IO还是非阻塞IO，通过两个阶段是否有阻塞判断是同步IO还是异步IO。2、BIO在Socket多的情况下，线程数就会很多，因为BIO一个任务分配一个线程，大量线程处于阻塞，且会导致频繁的上下文切换，导致较大的性能开销。
IO多路复用技术原理与select、epoll机制图解
文档重点讲解了三种主流的多路复用机制：select、poll 和 epoll，尤以前两者为基础，后者为优化升级版。其中，select 是最早出现的标准接口，其工作原理是使用一个位图结构 fd_set 来标记需要监听的文件描述符集合，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值