2020/01/16 04-IO多路复用版群聊实现

最新推荐文章于 2023-06-20 19:41:29 发布
最新推荐文章于 2023-06-20 19:41:29 发布
阅读量167 收藏
点赞数
分类专栏： 48 Python网络编程(三)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42227818/article/details/104011638
版权

在这里插入图片描述在这里插入图片描述
用select完成了对事件的监听，由它来监听关注的事件，但凡监控的某一个socket上面事件发生后，select就会结束阻塞，我们就会遍历拿到的这个列表，就可以找到发生的指定对象都是谁。
如果要做操作，就可以在主从的时候传入data（类，对象，方法都可以）

注册的时候，返回一个selectkey，里面包含4个信息
fileobj 关注的socket文件对象
fd 文件描述符
events 关注哪些事件
data 传入数据
只能关注读和写
在这里插入图片描述在这里插入图片描述在这里插入图片描述

官方建议选择非阻塞IO在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
现在，accept和read的时候定义要一致在这里插入图片描述
定义的参数只有一个在这里插入图片描述
这样定义就只适合accept传入，recv就直接报错 了在这里插入图片描述
传参数可以传，但用不用无所谓，避免报错在这里插入图片描述
现在只有一个线程，调用select，主线程就阻塞了，主线程就什么事情都做不了，把select函数扔到其他线程去跑，主线程就腾出来了在这里插入图片描述
官方建议setblocking(False)选择非阻塞方式
在这里插入图片描述
现在的问题是，现在只有这边让主线程阻塞，
在这里插入图片描述
按照道理recv和accept都是阻塞函数，本身这两个也是阻塞行为，但是我们调用的时候已经ready了，数据已经有了，recv就不需要等了，本身是阻塞行为，因为通知它的时候数据已经准备好了，直接拿即可在这里插入图片描述
所以现在是否阻塞是没有影响的，调用的时候已经准备好了
在这里插入图片描述
多路复用的图，上半部分ready才通知下半部分来拿
在这里插入图片描述
把selectt扔到一个函数里去，开启多线程，把select阻塞的扔到线程里去跑
在这里插入图片描述
定义的东西都可以往下放
在这里插入图片描述
使用一下event
在这里插入图片描述
quit退出
在这里插入图片描述
链接一下
在这里插入图片描述在这里插入图片描述
mapping其实指的就是映射。key value的映射，是类字典的
在这里插入图片描述在这里插入图片描述
一个是fds，一个是selectorkeys在这里插入图片描述
遍历出的其实就是当下正在监控的哪些IO

重新链接一下
在这里插入图片描述
一个是socket accept，一个是conn在这里插入图片描述
所以通过get_map方法遍历之后，就可以把东西拿出来了在这里插入图片描述
现在退出可以拿到的对象有，select可以拿到，event需要处理一下（用几个socket，就需要清理几个socket）
现在就反注册
在这里插入图片描述
socket需要关一下，1。清理，链接，2.把fd交还给操作系统，复用一下
在这里插入图片描述
但是这样注册的时候生成map，在反注册的时候，看着是没有pop，但是别人想从kv卸除

链接发送消息
在这里插入图片描述
敲quit这一句就出现了问题在这里插入图片描述
反注册就需要先记录下来，然后资源关闭
在这里插入图片描述
selector.close才可以清理干净在这里插入图片描述
要把所有用的socket全部清除掉，也就是反注册掉，不要监控了，然后把socket该 关关了，所以quit的时候需要做的事情比较多在这里插入图片描述
所以在这里相当于做一个列表解析式，反注册fileobj在这里插入图片描述
这样就做到了资源一部分清理，因为结束和使用并不在一个线程里，无法使用with语法
在这里插入图片描述
现在就正常退出了
在这里插入图片描述

再次演化，更改需求，能否借助IO多路复用来完成项目

在这里插入图片描述
给一个selector，server里自己使用，新的serversocket和每一次新创建的socket在这里插入图片描述
现在需要注册。，起个线程交给select来处理，也需要出处理一个select函数

在这里插入图片描述
现在监听注册在sever。socket上，注册完之后立马开始工作，因为会阻塞当前线程，选择扔到另一个线程里做在这里插入图片描述
想要socket自己传进去
在这里插入图片描述
如果有人accept链接，不再阻塞后，拿到的key.data就是accept，accept传入fileobjet在这里插入图片描述拿到的key.data就是accept，accept传入fileobjet传入就是socket在这里插入图片描述
**注册conn，读世界EVENT_READ，data=self.recv **在这里插入图片描述
现在也不需要这个判断了，因为selector帮你做了
在这里插入图片描述在这里插入图片描述
紧接关注的是recv，收到消息后，就反注册conn
在这里插入图片描述
stop需要循环去清理在这里插入图片描述
下面就需要看一对多的问题，每次accept进来就会生成新的conn，以前一对多的时候需要记录一下，现在self.clients是不保留的。
以前把所有的socket内容保存下容器里
在这里插入图片描述
现在从get_map里去拿，除了conn，还可以拿到accept所在的socket也可以拿到
在这里插入图片描述
通过data判断谁是谁在这里插入图片描述
先遍历，有可能混入self.socket，需要进行判断
在这里插入图片描述
这样判断就区分开来了，两个函数的==就相当于is
在这里插入图片描述在这里插入图片描述在这里插入图片描述
清理一下代码
在这里插入图片描述在这里插入图片描述在这里插入图片描述
首先先需要用这个selector监控socket，这个soscket是用来接收链接的accept在这里插入图片描述
在监听的上面进行等待，不阻塞后就开始进行操作在这里插入图片描述
不阻塞后就开始进行操作在这里插入图片描述
accept拿到这些连接后可以拿到新的链接
在这里插入图片描述
这个链接不要就可以反注册，recv结束，在get_map就找不到了
在这里插入图片描述
关闭的时候，get_map可以拿到所有关闭的socket，反注册相当于从map里把kv对去掉，会影响map的size，解决方法一样在这里插入图片描述
反注册相当于从map里把kv对去掉，会影响map的size，解决方法一样，
临时生成容器，里面记录你想要清除的东西
在这里插入图片描述
现在就把多线程版本改成了IO多路复用版本（在linux优先使用EPOLL，效率很高）
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
想要监听写事件，send其实也是阻塞的，取决于缓冲区满不满，满了就阻塞了在这里插入图片描述在这里插入图片描述
**conn有读写，写1read 写2，write，3就是read and write，‘|’现在是按位相或 **在这里插入图片描述
现在就是读写都处理，但是现在无法得知读就绪还是写就绪
在这里插入图片描述
最简单的方式就是把mask传入进来，mask是1读就绪，mask是2写就绪，mask是3读写同时就绪

如果是file.obj是self.sock，就是accept，如果不是都是conn创建除的新的socket，在这里插入图片描述
也可以判断成，key.data，如果是self.recv就做下处理，self.accept就做下处理，总之是要做区分

events可能别人accept就绪了，别人也链接进来了，正好conn读写同时进行，所以event里到底有谁不好判断，有可能这里面不止一项，但是只要select不阻塞，那么events里至少有一个被监控对象就绪
在这里插入图片描述
这个与完之后，只可能是1，或者2 ，因为其他全是0在这里插入图片描述
**在handle就需要判断究竟谁就绪，
if mask &位与 1，不能使用elif，因为既可能读就绪，也可能写就绪 **在这里插入图片描述
现在的send需要用写就绪的方式，缓冲区没满是可写的，能否读和写彻底分离，现在是读里直接调用写
在这里插入图片描述
解耦可以分离开，queue，每个socket给每个queue单独分配，原来是给send fileobj发数据，现在应该是给queue，
现在想为每个socket配queue
在这里插入图片描述
data并没有限制用什么对象
在这里插入图片描述
现在为每一个conn单独配queue在这里插入图片描述
传一个key对象，这个key对象就是conn在这里插入图片描述在这里插入图片描述
如果是读就绪，就会从缓冲区里拿出来，拿出来做过处理，就是send出去在这里插入图片描述
handle能进来，一定是conn的，才能把mask送进来
在这里插入图片描述
key.data【1】就是queue，用这个queque.empty，不为空，key.fileobj,send在这里插入图片描述
修改一下用is socket还是有点问题在这里插入图片描述
运行一下
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述
反复打印加号说明，说明一直是就绪的
3代表，至少是写就绪了在这里插入图片描述
写就绪一直会告诉select要不要写，对于群聊软件大部分是读多写少，才用读监听，写多读少才用写监听在这里插入图片描述在这里插入图片描述
就会一直在跑
在这里插入图片描述
conn没活干了就不监听了
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

48N6E
关注
专栏目录
【linux网络编程学习笔记】第七节：TCP select多路复用IO实现群聊功能(select  多路复用、FD_SET、FD_CLR 、FD_ZERO、FD_ISSET)
qq_44796935的博客
08-08 654
The first wealth is health .(Ralph Waldo Emerson , American thinker) 　　健康是人生第一财富。(美国思想家 爱默生。 R. W.) TCP select多路复用IO复用实现群聊功能 为何需要多路复用 selent多路复用API select 多路复用 设置文件描述符 select群聊功能实现 主要步骤 1、初始化要监控的文件描述符 2、判断是否有期望的事件发生 TCP服务器例程 tcp_server...
IO多路复用
兰枫
06-23 6399
IO多路复用 同步IO、异步IO、IO多路复用 IO两个阶段 IO过程分两阶段： 数据准备阶段。从设备读取数据到内核空间的缓冲区 内核空间复制回用户空间进程缓冲区阶段 发生IO的时候： 内核从IO设备读数据(例如：淘米，把米放在饭锅里煮饭) 进程从内核复制数据(盛饭，从内核这个饭锅里把饭装到碗里来) 系统调用----read函数 IO模型 同步IO模型包括阻塞IO、非阻塞IO、IO...
select多路复用实现群聊功能
07-20
利用多路复用可以很快捷、高效的监控多个进程，实现多个客户端实时交互
python3 利用socket和i/o多路复用实现简易群聊服务器
qwe123_asd的博客
10-08 215
服务端 import socket import select # i/o复用实例，利用操作系统对i/o流的阻塞，单线程多人群聊服务器 ss = socket.socket(socket.AF_INET, socket.SOCK_STREAM) ss.bind(('127.0.0.1', 5985)) ss.listen(10) readlist = [ss] # 读监听列表，ss是服务...
【I/O复用】聊天室程序
xsf_1903239203的博客
03-31 85
书中使用poll实现了简易的聊天室程序，我们照葫芦画瓢，用epoll来实现一个聊天室。为了体现epoll的ET模式的作用，我们把一次可以读取的数据量设置为5，这样的话我们就要处理循环读取问题了，是一个很好的练手机会。该聊天室程序能让所有用户同时在线群聊，它分为客户端和服务器两个部分。其中客户端程序有两个功能，一是从标准输入终端读入用户数据，并将用户数据发送至服务器，二是往标准输出终端打印服务器发送给它的数据。
I/O复用的高级应用二——聊天室程序
gxy的博客
06-20 96
I/O复用的高级应用二之聊天室程序，poll实现
flask之gevent-websocket的IO多路复用长连接通信
diaolouan9546的博客
07-15 2691
本节目录： （一）笔记总结； （二）gevent-websocket+flask+javascript实现WS即时通信 　　(1)无昵称群聊 　　(2)有昵称群聊 　　(3)私聊 三种通信模型简述：　 (1)轮询： 客户端周期性不间断高频率的给服务器发送请求： 客户端请求--服务器响应--断开连接，请求次数QPS比较频繁，对客户端和服务器的配置要求...
Uinx--多路复用IO 三个聊天室结构
weixin_42397177的博客
09-14 186
select : typedef struct Client{ int fd; char name[NAME_LEN]; struct sockaddr_in addr; }Client; Client *pcls = NULL; size_t size = INIT_SIZE; size_t cnt = 0; pthread_mutex_t mutex = PTHREAD_MUTEX...
用IO多路复用之select与poll/epoll来浅谈网络聊天室
weixin_53272394的博客
09-04 353
IO多路复用： IO多路复用模型是建立在内核提供的多路分离函数select基础之上的，使用select函数可以避免同步非阻塞IO模型中轮询等待的问题。 select 该函数用于监视文件描述符的变化情况–读写或是异常 参数： nfds: 通常被设置为select所监听的所有文件描述符中的最大值+1 指定被监听的文件描述符的总数 文件描述符从0开始 fd_set: 文件描述符集合 fd_set结构体仅包含一个整数数组，该数组的每个元素的每一位(bit) 标记一个文件描述符
Netty-SocketIO多路复用
weixin_30292843的博客
11-07 1153
概念 namespace 和room的概念其实用来同一个服务端socket多路复用的。namespace，room和socketio的关系如下: 每一个socket（每一个客户端）会属于某一个room，如果没有指定，那么会有一个default的room。这个room又会属于某个namespace，如果没有指定，那么就是默认的namespace /。 广播 socketIO广播的时候是以names...
IO多路复用的三种实现方法
yangxiaoping7的博客
11-15 4265
IO多路复用 定义：同时监控多个IO事件，当哪个IO事件准备就绪就执行哪个IO事件。 以此形成可以同时操作多个IO的并发行为，从而避免一个IO阻塞，造成所有IO都无法执行 IO事件准备就绪：是一种IO必然要发生的临界状态。 IO多路复用的编程实现 1.将IO设置为关注IO（注册IO） 2.将关注IO提交给内核监测 3.处理内核给我们反馈的准备就绪的IO 具体实现方案： 3种 1.select --...
Linux下Select多路复用实现简易聊天室
小谢的博客
12-01 2294
前言 和之前的udp聊天室有异曲同工之处，这次我们客户端send的是一个封装好了的数据包，recv的是一个字符串，服务器recv的是一个数据包，send的是一个字符串，在用户连接的时候发送一个login请求，然后服务器端处理，并广播到其他客户端去 多路复用的原理 基本概念 多路复用指的是：通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。其实就是一种异步处理的操作，等待可运行的描述符。 与多进程和多线程技术相比，I/O多路复用技术的最大
socket.io 中namespace 和 room的概念。
热门推荐
lijiecong的专栏
03-02 2万+
基本概念看socketio官方文档  http://socket.io/docs/rooms-and-namespaces/ namespace 和room的概念其实用来同一个服务端socket多路复用的。namespace，room和socketio的关系如下。 socket会属于某一个room，如果没有指定，那么会有一个default的room。这个room又会属于某个namespace，
IO多路复用（select）多线程实现点对点聊天
Xinspace
04-05 2028
在网络编程中，IO操作不止本地的read或write，还会有网络套接字上的read和write。这样的话就容易出现这个问题： 当你用fgets函数在等待本地的标准输入，这时IO输入操作会阻塞在这里等待输入。如果此时网络套接字上传来了数据（比如说关闭连接命令），由于你的IO被阻塞在fgets处，无法及时知道网络套接字上传来的关闭命令。当你从fgets处获得数据后，再处理网络套接字发来的关闭命令
C语言 Linux 聊天室(IO多路复用、多线程)
qingjiao_fa的博客
08-03 2079
服务器:建立套接字、设置ip和port、绑定ip和port、监听、连接、收发消息。​ 客户端：建立套接字、配置服务器ip和port、连接服务器、创建线程收发消息。建立一个服务器,有很多个客户端加入服务器，就可以实现群聊功能。​服务器需要很多连接加入，所以用到IO多路复用。我们创建4个终端，1个服务器，3个客户端。...
2020/01/30 04-Pymysql使用
qq_42227818的博客
01-31 272
mysql基于TCP协议上开发，但是数据库链接后，传输的数据必须是遵照mysql协议。我操作起来，一般通过官方提供的编程接口 mysql connector支持多种语言链接 MySQLdb是python的一个库，到了3.0不继续开发了 pymysql现在支持比较广泛，兼容mysqldb 首先需要基于tcp编程，创建链接，发送心跳包之类的，你发的结果集，对方需要解析，数据库写的sql语句并不在客...
select I/O 多路复用实现服务器聊天室功能
鹰击长空
04-25 2566
基本概念　IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合：　　（1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。　　（2）当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。　　（3）如果一个TCP服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到I/O复用。　　（4）如果一个服务器即
五次全国1%抽样个人微观数据(最新整理)
最新发布
10-10
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/142833919 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理
户外储能电源2Kw（最大3Kw）双向逆变器电路资料 本方案整体特性如下： 一.双向软开关DC-DC，高效率，充电时具有PFC和
10-10
户外储能电源2Kw（最大3Kw）双向逆变器电路资料。 本方案整体特性如下： 一.双向软开关DC-DC，高效率，充电时具有PFC和UPS功能，检测MOS内阻压降实行过流保护，最大充电功率：20A 1100W； 二.控制部分：采用两颗M0+32位MCU（BAT32G139L048系列）其一：负责主逆变控制和市电PFC及UPS功能控制，其二：负责双向DC-DC控制及上位机通讯，逆变控制MCU采用单极性 单极性倍频SPWM调制方式，效率高，干扰小，输出电压采电压、电流双环控制，动态响应快、负载适应能力强，全数字控制。 上电自检功能：通过单片机轮流发信号并检测反馈信息的方式来判断驱动回路、功率回路是否存在故障，并发出报警用； 三.功率部分：H桥IGBT采用650V30A 50A大电流管子； 输入电压：44~58VDC(按需求调整电压）输出电压：220 230VAC±2% 电子资料包含原理图+PCB设计文件(Altium软件)，BOM,变压器参数说明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值