python 多路复用io_python11-IO多路复用

IO多路复用

socket在客户端与服务端建立连接后,之后的请求都需要等待

原生的socket服务端只能在同一时刻处理一个请求

IO多路复用:

可以监听多个文件描述符(socket对象),一旦文件描述符的状态出现变化,就会感知到

一旦有人给服务器发送请求,服务端的socket就会发生变化

或服务端通过Socket给客户端发送数据,服务端的socket也会发生变化

让socket监听多个端口

原生的socket只能监听一个端口

通过select模块实现socket监听多个端口

[注]:socket中send和sendall:send发送的内容不一定全部发送出去,返回值为发送了多少,sendall底层调用send,通过循环把所有的数据发送出去

IO多路复用可以接收多个文件描述符,一旦有哪个文件描述符的状态发生变化,就会帮忙处理

import socket

import select

server1 = socket.socket()

ip_port1 = ('127.0.0.1', 8001)

server1.bind(ip_port1)

server1.listen(5)

server2 = socket.socket()

ip_port2 = ('127.0.0.1', 8002)

server2.bind(ip_port2)

server2.listen(5)

print('服务器启动.........')

inputs = [server1, server2]

while True:

# r_list:为第一个参数传入的列表,一旦这个列表中的文件描述符对象发生改变,就会把这个对象放入r_list

# w_list:为第二个参数的列表对象关联,第二个参数的列表里有什么,w_list就有什么

# e_list:为第三个参数的列表关联,一旦这个列表的文件描述符对象发生异常,就会把异常对象传入e_list中，通常把异常的文件描述符从监听中移除

# 参数四:表示每隔多久扫描一次,这里为1秒

r_list, w_list, e_list = select.select(inputs, [], [], 1)

print('r_list大小:%d'%len(r_list))

for sk in r_list:

conn, addr = sk.accept()

print('服务器接收到请求,客户端ip: %s .port: %s' % (addr[0], addr[1]))

conn.sendall(bytes('Hello_World!', encoding='utf-8'))

IO多路复用跟系统底层有关,由系统底层实现的,跟python无关,python只是通过select模块调用,window系统只支持select

IO多路复用发展

计算机一开始只有select,大家都用select

select:性能比较低,底层通过for循环逐个遍历,最多支持1024个

poli:对select优化,个数没有限制了,但是依然不是并发的(for循环)

epoli:内部不再是for循环,通过异步的方式,哪个文件描述符发生变化,主动告诉系统

socket实现可以接收多个客户端访问

import socket

import select

sk1 = socket.socket()

ip_port1 = ('127.0.0.1', 8001)

sk1.bind(ip_port1)

sk1.listen(5)

print('服务端启动...........')

inputs = [sk1, ]

# 一旦有客户端访问服务端,服务端通过accept()获取到客户端的socket(conn)放入inputs列表中进行监听

while True:

r_list, w_list, e_list = select.select(inputs, [], [], 1)

for sk in r_list:

if sk == sk1:

# 一旦有人访问,sk1就会发生变化

conn, addr = sk.accept()

conn.sendall(bytes('Hello_World', encoding='utf-8'))

# 把客户端的socket(conn)方法inputs监听,一旦客户端发送数据过来,conn会发生变化

inputs.append(conn)

else:

# conn发生变化

try:

recv_bytes = sk.recv(1024)

except Exception as e:

inputs.remove(sk)

print(e)

else:

recv_str = str(recv_bytes, encoding='utf-8')

print(recv_str)

sk.sendall(bytes("回复:" + recv_str, encoding='utf-8'))

finally:

pass

在python2.7中,如果客户端断开了连接,默认会发送一个空值给服务端,服务端通过：if rev_bytes来判断是否断开连接,移除监听

python3.x中,客户端断开连接时变成抛异常,通过try来处理断开的逻辑

上面的操作没有实现并发,比socket的优势是可以处理多个请求,但不是并发进行,通过for循环

select实现读写分离

import socket

import select

sk1 = socket.socket()

ip_port1 = ('127.0.0.1', 8001)

sk1.bind(ip_port1)

sk1.listen(5)

print('服务端启动...........')

inputs = [sk1, ]

outputs = []

message_dict = {}

# 一旦有客户端访问服务端,服务端通过accept()获取到客户端的socket(conn)放入inputs列表中进行监听

while True:

r_list, w_list, e_list = select.select(inputs, outputs, [], 1)

for sk in r_list:

if sk == sk1:

# 一旦有人访问,sk1就会发生变化

conn, addr = sk.accept()

conn.sendall(bytes('Hello_World', encoding='utf-8'))

# 把客户端的socket(conn)方法inputs监听,一旦客户端发送数据过来,conn会发生变化

inputs.append(conn)

message_dict[conn] = []

else:

# conn发生变化

try:

recv_bytes = sk.recv(1024)

except Exception as e:

inputs.remove(sk)

print(e)

else:

recv_str = str(recv_bytes, encoding='utf-8')

message_dict[sk].append(recv_str)

outputs.append(sk)

finally:

pass

print(w_list)

for conn in w_list:

recv_str = message_dict[conn].pop()

print(recv_str)

conn.sendall(bytes("回复:" + recv_str, encoding='utf-8'))

outputs.clear()

梳理

select以后基本不会用到,但是这个所有的网络通信的根本,很多源码都会有,如果不懂,则看源码的时候会很吃力

socketserver真正实现了并发

socket + select + 多线程

多线程

import threading

import time

def process(arg):

print(arg)

time.sleep(1)

# 如果这样子执行,会执行10秒

for i in rang(10):

process(i)

# 通过多线程,瞬间完成

for i in rang(10):

t = threading.Thread(target:process,arg=i)

t.start()

socket通信技巧

socket在send和recv都有大小限制

如果传输人的数据超过1024,一次接收不完,需要接收多次,如何知道要接收多层次,这就要在发送之前告诉另一端数据有多大