io多路复用

最新推荐文章于 2024-03-08 17:31:01 发布
最新推荐文章于 2024-03-08 17:31:01 发布
阅读量66 收藏
点赞数
文章标签： 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48096939/article/details/118729804
版权

博客

  • https://mp.weixin.qq.com/s?__biz=MzUxODAzNDg4NQ==&mid=2247489558&idx=1&sn=7a96604032d28b8843ca89cb8c129154&scene=21#wechat_redirect

  • https://mp.weixin.qq.com/s/px6-YnPEUCEqYIp_YHhDzg

  • redis：epoll

  • nginx：epoll

  • netty：可选的

程序要调用IO，需要从用户态切换到内核态

linux中追踪socket系统调用

strace命令启动程序可以追踪进程执行时的系统调用和所接收的信号

启动程序后，系统调用，创建了一个socket服务

linux里，每个进程都在一个目录中：/proc/[进程号]

进到文件夹里，比如进到2878进程中：cd /proc/2878

在这里插入图片描述

task目录里装的就是2878进程包含的所有线程

在这里插入图片描述

fd目录里是文件描述符

在这里插入图片描述

任何一个程序都有IO，且最少有三个基本的IO

  • 标准输入0
  • 标准输出1
  • 错误输出2

3是BootStrapClassloader加载的库

4和5是socket服务，一个是ipv4一个是ipv6

netstat -natp命令可以看到进程的连接状态和用的协议

在这里插入图片描述

可以看到2878进程是用的tcp协议，处于LISTEN（监听）8090端口状态

nc可以测试连接

在这里插入图片描述

用nc连接8090端口后

netstat -natp查看连接状态

在这里插入图片描述

2878进程多了一个ESTABLISHED状态

fd目录里的文件描述符多了一个socket

在这里插入图片描述

查看系统调用，增加了一个客户端

在这里插入图片描述

socket（BIO）

  1. 程序先获得一个文件描述符，代表一个socket连接
  2. socket通过bind绑定端口号
  3. 通过listen方法监听这个socket
  4. 通过accept方法获取请求，如果accept成功，要进入阻塞状态

一开始是监听套接字5，之后是连接套接字6，连接方法是通过创建一个新的线程，然后阻塞io，不断等待客户端发送消息。

在这里插入图片描述

BIO的问题：

  1. 一个客户端对应一个线程，线程上下文切换开销大，且线程消耗内存资源
  2. 根本问题是会阻塞

NIO

https://tech.meituan.com/2016/11/04/nio.html

不需要多线程了，一个线程里循环全部连接。

比起BIO，如果一个连接不能读写，可以马上切换其他就绪的连接（channel）继续进行读写，不会一直阻塞住。

NIO的问题：C10K

假设有1W个客户端，每循环内会有O(n)的系统调用，如果只有一两个有数据，那剩下的就白调了。

多路复用

select

缺点：

  1. 虽然只用一次系统调用（本来要n次系统调用，现在多路复用了）了，但是系统要遍历全部的连接，看哪些连接有数据，遍历的时间复杂度还是O(n)
  2. 用来标记是哪个socket有事件的bitmap是有长度上限的

在这里插入图片描述

&rset是bitmap，标记哪个客户端有事件发生

while中的select是阻塞的，直到有事件发生，事件发生的时候，更改reset的位，这时select会有个返回值，程序向下执行，遍历所有文件描述符来找到是哪个连接发生了事件。

memset()：把原来的1置为0

read()把数据读出来

puts()处理数据

poll

在这里插入图片描述

对比select的改进：

  1. 不是置位bitmap，而是把文件描述符的revents置位，这样就可以重用fds，不用像select一样要把整个bitmap重置。
  2. bitmap是有大小限制的，而poll使用数组来保存fd的状态，数组的大小可以远远不止1024。

epoll

在这里插入图片描述

在这里插入图片描述

epoll_create：内核给epoll开辟个空间（上图里的绿色空间），返回个文件描述符。

epoll_ctl：给刚刚开辟的绿色空间内存入所有文件描述符，即需要监控的socket

epoll_waite：返回有事件发生的文件描述符的个数

在这里插入图片描述

不需要遍历全部连接了，而是只处理有事件的连接

?里是事件驱动，中断CPU，告诉CPU有消息了，所以CPU在中断前可以执行其他业务代码

小结

select里CPU的大多数时间用来主动遍历

而epoll，CPU在中断前可以做别的事

比如有一万个连接

BIO：会创建一万个线程，但是线程的开销是很大的，如果达到C10K，意味着要维护1万个连接。

NIO：一个线程就可以解决，不会阻塞，会直接返回是否需要读写数据，但是需要执行1万次系统调用，找到需要读写的socket。

  • select：不需要1万次系统调用了，只需要1次系统调用，但是在内核里还要遍历1万次，来看哪个连接产生了网络事件。
  • poll：和select的区别是，select用一个bitmap来标记哪个连接有事件，而poll是用一个数组来保存fd数据结构，fd里有一个字段标记是否有事件，所以poll没有1024个客户端的限制。
  • epoll：不需要遍历所有的客户端来查询哪个有事件，有一个事件驱动的机制，epoll全程是event poll。发生事件的文件描述符会用一个链表串起来，然后有个指针指向这个链表，来一个事件就会中断cpu。

redis epoll

  • redis epoll是轮训
  • nginx epoll是阻塞

原因是redis是单线程，还要做别的事。

  1. redis用epoll解决了消息事件。即使有10w个客户端，它也只会读那几个有消息事件的。
  2. redis里对事件的处理是原子的（读、计算、写）和串行化的（一个一个事件串行执行）。
  3. redis 6.x开始是多线程的，但是只是读是并发读写，哪个客户端先读完CPU就计算，计算还是串行执行的，因为redis的瓶颈不在于CPU，而在于网络和内存。

在这里插入图片描述

零拷贝

kafka特征：快，需要持久，要存在磁盘里。

零拷贝最重要的是减少了kafka对kernel的系统调用。

零拷贝的前提：数据不需要加工，比如kafka和nginx，不需要对数据进行加工

在这里插入图片描述

本来读取数据需要几步

  1. 数据到内核
  2. 内核发送给kafka
  3. kafka处理后发给内核
  4. 内核发给客户端

但是因为kafka不需要对数据进行加工，内核提供了一个sendfile函数，kafka调用这个函数只需要

  1. 数据到sendfile
  2. sendfile发给客户端

少了几次拷贝的过程，所以叫零拷贝

奥利奥奥利给
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux socket tcp大并发 epoll使用教程 有关epoll的一切
01-19
linux socket tcp大并发 epoll使用教程 有关epoll的一切
Kafka高性能设计_2
959
02-10 2477
1. 存储消息的性能优化手段 存储消息属于 Broker 端的核心功能 IO多路复用, 磁盘顺序写, page缓存, 分区分段结构 1.1 IO 多路复用 对于 Kafka Broker 来说，要做到高性能，首先要考虑的是：设计出一个高效的网络通信模型，用来处理它和 Producer 以及 Consumer 之间的消息传递问题。 SocketServer : Kafka采用的是Reactor 网络通信模型 1 个 Acceptor 线程，负责监听新的连接，然后将新连接交给 Processor 线程处.
Socket网络编程--epoll小结
weixin_33881041的博客
08-07 80
　　以前使用的用于I/O多路复用为了方便就使用select函数，但select这个函数是有缺陷的。因为它所支持的并发连接数是有限的(一般小于1024)，因为用户处理的数组是使用硬编码的。这个最大值为FD_SETSIZE，这是在<sys/select.h>中的一个常量，它说明了最大的描述符数。但是对于大多数应用程序而言，这个数是够用的，而且有可能还是太大的，多数应用程序只使用3~10个描...
图解 Kafka 网络层实现机制之Selector 多路复用器
琅枫的博客
07-19 391
Kafka Selector 是对 Java NIO Selector 的二次封装，主要功能如下： 1.提供网络连接以及读写操作 2.对准备好的事件进行收集并进行网络操作
阿里Java二面：从底层聊下IO多路复用模型？这不有嘴就会
m0_73257876的博客
08-18 184
当我们去面试的时候，问到了 redis，nginx，netty他们的底层模型分别是什么?需要从操作系统的层面上来谈。
IO多路复用之epoll全面总结(必看篇)
09-15
下面小编就为大家带来一篇IO多路复用之epoll全面总结(必看篇)。小编觉得挺不错的。现在就分享给大家。也给大家做个参考。一起跟随小编过来看看吧
IO多路复用之select全面总结(必看篇)
01-10
IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： （1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。 （2）当一个客户...
io多路复用解析
12-07
io多路复用解析
1.18 第六章 IO多路复用
01-18
1.18 第六章 IO多路复用
IO多路复用之poll全面总结(必看篇)
09-15
下面小编就为大家带来一篇IO多路复用之poll全面总结(必看篇)。小编觉得挺不错的。现在就分享给大家。也给大家做个参考。一起跟随小编过来看看吧
io多路复用·零拷贝·while死循环&cpu
远行的博客
09-23 1000
第二，高并发下传输大文件，我们上文提到过，大文件难以命中 PageCache 缓存，又带来额外的内存拷贝，同时还挤占了小文件使用 PageCache 时需要的内存，因此，这时应该使用直接 IO。通常，你会选择最直接的方法：从网络请求中找出文件在磁盘中的路径后，如果这个文件比较大，假设有 320MB，可以在内存中分配 32KB 的缓冲区，再把文件分成一万份，每份只有 32KB，这样，从文件的起始位置读入 32KB 到缓冲区，再通过网络 API 把这 32KB 发送到客户端。当然，直接 IO 也有一定的缺点。
Kafka 精妙的高性能设计（下篇）
Java搜索工程技术栈
03-05 312
在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。同时给出了Kafka高性能设计的全景图，可以理解成「术」。 图 1：Kafka 高性能设计的全景图 这篇文章将继续对存储消息和消费消息的8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。 1. 存储消息的性能优化手段 存储消息属于 Broker 端的核心功能，下面是它所采用的 4 条优化手段。 1、IO 多路复用 对于 Kafka Broker 来说，要做到高性能，首先要考虑的是...
socket编程之Epoll
qq_44784918的博客
08-03 760
使用Epoll相较select的好处 没有文件描述符的限制（MAX_FILES），select默认的1024. 工作效率不会随着描述符的增加而下降（没有改变的描述符不会返回，也就是不会遍历） 经过内核级优化的 Epoll的事件触发模式 Level Trigger 水平触发，如果数据没有一次性处理完毕，会再次发送 Edge Trigger 边沿触发，不管数据有没有一次性处理完毕，都不会再次发送（效率最高，难度大） Epoll重要的API int epoll_create();
总结：kafka
w2009211777的专栏
01-18 1622
一、Kafka整体架构 Apache Kafka是分布式发布-订阅消息系统。 下面这张架构图可能更简单清晰点： 从代码层面，我们的生产者和消费者不需要和zookeeper建立连接，因为Kafka Server端在启动的时候会默认和Zookeeper建立连接 场景选择 主要是从业务的角度出发，生产端与消费端进行合理的配置来适用不同的业务场景。 Kafka不太适用到实时线上业务中。 由于Kafka很难避免数据丢失以及不进行消息重复性检查，所以Kafka适合对消费重复数据有幂等性以.
C语言--socket、epoll
造梦先森Kai的专栏
06-17 2594
分为服务器端和客户端，服务器端监听端口发来的请求，收到后向客户端发送一个Hello World,客户机负责发送消息并打印收到的Hello World. 服务器步骤：建立socket,绑定socket和地址信息，开启监听，收到请求后发送数据。 客户端步骤：建立socket,连接服务器端，接收并打印服务器给的数据 服务器： #include<stdio.h> #include&lt..................
10 Socket 编程：epoll 为什么用红黑树？
我乐了的博客
01-18 825
总结一下，Socket 既是一种编程模型，或者说是一段程序，同时也是一个文件，一个双向管道文件。你也可以这样理解，Socket API 是在 Socket 文件基础上进行的一层封装，而 Socket 文件是操作系统提供支持网络通信的一种文件格式。在服务端有两种 Socket 文件，每个客户端接入之后会形成一个客户端的 Socket 文件，客户端 Socket 文件的文件描述符会存入服务端 Socket 文件。
深入剖析Linux Socket编程中的高效神器：epoll详解
最新发布
极客代码
03-08 1142
epoll`是Linux特有的系统调用接口，用于监控多个文件描述符的I/O状态变化。相较于`select`和`poll`，`epoll`采用了更先进的设计思路，能够在高并发环境下提供更高的性能和更低的资源消耗。通过对epoll的深入剖析，我们可以看到它在网络编程尤其是高并发场景下的显著优势。理解并熟练运用epoll机制，对于构建高性能、可扩展的网络服务至关重要。在实践中不断探索和完善，方能充分发挥epoll的强大效能。
IO多路复用，0拷贝，直接内存
qq_41634872的博客
02-26 622
BIO-> NIO -> 多路复用，是内核发生了变化 BIO 多线程的缺点：大量线程上下文切换，线程利用率不高 NIO的缺点：加入有1w连接，每次循环中的read都要进行一次系统调用，需要进行用户态内核态切换 多路复用：一次系统调用可监控多个文件描述符的是否都相应事件发生 select原理:将要监控的文件描述符以bitmap的方式传入内核空间，内核遍历传入的所有文件描述符，对满足条...
redisIO多路复用
09-15
Redis利用IO多路复用技术来实现高效的网络通信。在Redis中，通过使用epoll来实现IO多路复用，将连接信息和事件放到队列中，并由事件分派器将事件分发给事件处理器。这种方式可以让单个线程高效地处理多个连接请求，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值