python 基于多路复用的多客户端管理

九、基于多路复用的多客户端管理

作者：解琛
时间：2020 年 9 月 7 日

Python—I/O多路复用

在 python 中，select 函数是一个对底层操作系统的直接访问的接口，它用来监控 sockets、files 和 pipes，等待 IO 完成。

当有可读、可写或是异常事件产生时，select 可以实现对其的监测。

9.1 select

格式：rList, wList, eList = select.select(argv1, argv2, argv3, timeout)

参数：

• argv1：监听序列中的句柄发生变化时，则获取发生变化的句柄添加到 rList 序列中；
• argv2：监听序列中含有句柄时，则将该序列中所有的句柄添加到 wList 序列中；
• argv3：监听序列中的句柄发生错误时，则将该发生错误的句柄添加到 eList 序列中；
• timeout：设置阻塞时间，如果不设置则默认一直阻塞。

9.2 用 select 实现处理多个 socket 客户端请求

9.2.1 服务端

#!/usr/bin/env python
# coding=utf-8
import socket
import select
ip_port = ('127.0.0.1',9999)

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建 socket 对象；
sk.bind(ip_port)        # 绑定 IP、端口；
sk.listen(5)            # 监听；
sk.setblocking(False)   # 不阻塞；

inputs = [sk,]
outputs = []
while True:
    rlist, wlist, eList = select.select(inputs, outputs, [], 0.5)
    print("inputs:", inputs)     # 查看 inputs 列表变化；
    print("rlist:", rlist)       # 查看 rlist 列表变化；
    for r in rlist:
        if r == sk:              # 如果 r 是服务端；
            conn, address = r.accept()
            inputs.append(conn)
            print (address)
        else:
            client_data = r.recv(1024)
            if client_data:      # 如果有数据，返回数据；
                r.sendall(client_data)
            else:                # 否则移除；
                inputs.remove(r)

9.2.2 客户端

#!/usr/bin/env python
# coding=utf-8
import socket
ip_port = ('127.0.0.1', 9999)

sk = socket.socket()    # 创建 socket 对象；
sk.connect(ip_port)     # 通过 IP 和端口连接 server 端；
while True:
    inpu=input(">>:")
    sk.sendall(bytes(inpu,"utf8"))      # 给 server 端发送信息；

    server_reply = sk.recv(1024)        # 接受消息；
    print (str(server_reply,"utf8"))    # 打印消息；

sk.close()  # 关闭连接；

9.2.3 过程分析

• 启动服务端，这时 select 会一直监听服务端句柄，直到有客户端请求过来发生变化；
• 当客户端有新的连接请求过来时，select 捕捉到服务端句柄发生变化，把变化的句柄加入到 rlist，所以这时 r == sk，接收这个链接并把句柄加入到 inputs 列表；
• 现在，select 监听的就是两个句柄了。同理，当有多个链接请求过来时，都会把它添加到 inputs 列表中；
• 当其中的一个客户端 A 发送信息过来时，select 会在监听的句柄列表中捕捉到客户端 A 这个句柄发生了变化，并把发生变化的句柄加入到 rlist，但这时 r 不等于 sk；
• 执行另一步操作，接收返回数据；

9.3 读写分离

argv1 参数的概述，是监听 argv1 这个列表，当有发生变化时才会捕捉，并加入到 rlist。

argv2 参数，只要在这个列表里有值，每次都会加入到 wList，不同于 argv1，所以可以利用argv2参数实现读写分离。

在 argv3 的监听列表中，如果在跟某个 socket 连接通信过程中出了错误，就会把错误的句柄加到 eList ，所以再加个判断，当某个 socket 连接通信过程中出了错误，就把这个错误的连接对象在各个列表和字典中删除。

9.3.1 服务端

#!/usr/bin/env python
# coding=utf-8
import socket
import select
import queue

ip_port = ('127.0.0.1',9999)

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建 socket 对象；
sk.bind(ip_port)        # 绑定 IP、端口；
sk.listen(5)            # 监听；
sk.setblocking(False)   # 不阻塞；

inputs = [sk,]
outputs = []
message={}
while True:
    rlist, wlist, eList = select.select(inputs, outputs, [], 0.5)
    # print("inputs:", inputs)     # 查看 inputs 列表变化；
    # print("rlist:", rlist)       # 查看 rlist 列表变化；
    for r in rlist:
        if r == sk:              # 如果 r 是服务端；
            conn, address = r.accept()
            inputs.append(conn)
            message[conn] = queue.Queue()   #每个新的句柄对应一个队列
            print (address)
        else:
            client_data = r.recv(1024)
            if client_data:      # 如果有数据，返回数据；
                outputs.append(r)
                message[r].put(client_data)    # 在指定队列中插入数据；
            else:                # 否则移除；
                inputs.remove(r)
                del message[r]   # 删除队列；
    for w in wlist:              # 如果 wlist 列表有值；
        try:
            data =message[w].get_nowait() # 去指定队列取数据；
            w.sendall(data)
        except queue.Empty:
            pass
        outputs.remove(w)        # 因为 output 列表只要有数据每次都会加入
                                 # wlist 列表，所以发送完数据都要移除；
    for e in eList:
        inputs.remove(e)         # 删除 inputs 监听的错误句柄；
        if e in outputs:         # 如果 outputs 里有也删除；
            outputs.remove(e)
        e.close()
        del message[e]           # 删除队列；

9.3.2 多客户端连接测试

使用两个客户端连接该服务器，服务器的终端输入如下。

xiechen@xiechen-Ubuntu:~/6.本地实验中心/2.python$ python3 server.py 
('127.0.0.1', 33322)
('127.0.0.1', 33324)

客户端测试结果如下。

xiechen@xiechen-Ubuntu:~/6.本地实验中心/2.python$ python3 client.py 
>>:jerome
jerome
>>:hello
hello
>>: