python实现异步socket_python 实现socket服务端并发的四种方式

多进程&多线程

服务端:多进程和多线程的开启方式相同。

缺点:<1> 由于Cpython的GIL,导致同一时间无法运行多个线程;<2> 不可能无限开进进程或线程

解决办法:多进程、concurrent.futures.ProcessPoolExecutor、线程池

import socket

from multiprocessing import Process

from threading import Thread

class MyTcpServer:

def __init__(self, ip, port):

self.ip = ip

self.port = port

self.server = socket.socket()

self.server.bind((self.ip, self.port))

self.server.listen(5)

def wait_accept(self):

conn, addr = self.server.accept()

return conn, addr

def handle_request(self, conn):

while 1:

try:

data = conn.recv(1024)

if not data: break

conn.send(data.upper())

except Exception as e:

print(e)

break

conn.close()

if __name__ == '__main__':

server = MyTcpServer('127.0.0.1', 8888)

while 1:

conn, addr = server.wait_accept()

p = Process(target=server.handle_request, args=(conn, ))# 创建一个进程

p.start()# 告诉操作提供,开启这个进程

进程池&线程池

异步提交任务,支持异步接收返回结果(submit返回一个futures对象,调用add_done_callback方法)

import socket

from concurrent.futures import ProcessPoolExecutor

# from concurrent.futures import ThreadPoolExecutor

class MyTcpServer:

def __init__(self, ip, port):

self.ip = ip

self.port = port

self.server = socket.socket()

self.server.bind((self.ip, self.port))

self.server.listen(5)

def wait_accept(self):

conn, addr = self.server.accept()

return conn, addr

def handle_request(self, conn):

while 1:

try:

data = conn.recv(1024)

if not data: break

conn.send(data.upper())

except Exception as e:

print(e)

break

conn.close()

if __name__ == '__main__':

server = MyTcpServer('127.0.0.1', 8888)

pool = ProcessPoolExecutor(5) # 5个进程一直服务

while 1:

conn, addr = server.wait_accept()

pool.submit(server.handle_request, conn)# 异步提交任务

socketserver

优点:简化socket服务端创建流程。

提供服务端串行和并发两种服务模式(TCPServer,ThreadingTCPServer)

缺点:windows上无法使用多进程实现并发

import socketserver

class MyTcpHandler(socketserver.BaseRequestHandler):

def handle(self):# 通信循环

while 1:

try:

data = self.request.recv(1024)

if not data: break

self.request.send(data.upper())

except Exception as e:

print(e)

break

self.request.close()

if __name__ == '__main__':

ip_port = '127.0.0.1', 8888

server = socketserver.ThreadingTCPServer(ip_port, MyTcpHandler) # 异步处理

server.serve_forever()# 连接循环

协程

优点:单线程内实现并发,代码级别模拟IO切换,提高程序运行效率

from gevent import spawn, monkey;monkey.patch_all()# 猴子补丁,补丁:常规IO

import socket

class MyTcpServer:

def __init__(self, ip, port, my_spawn):

self.ip = ip

self.port = port

self.server = socket.socket()

self.server.bind((self.ip, self.port))

self.server.listen(5)

self.spawn = my_spawn# 保存spawn本地

def wait_accept(self):

while 1:

conn, addr = self.server.accept()

self.spawn(self.handle_request, conn)# 检测 handle_request的io

def handle_request(self, conn):

while 1:

try:

data = conn.recv(1024)

if not data: break

conn.send(data.upper())

except Exception as e:

print(e)

break

conn.close()

if __name__ == '__main__':

server = MyTcpServer('127.0.0.1', 8888, spawn)

g1 = server.spawn(server.wait_accept)# 检测wait_accept的io

g1.join()# 等待g1运行结束,即一直在循环检测io

以上就是python 实现socket服务端并发的四种方式的详细内容,更多关于python socket服务端并发的资料请关注脚本之家其它相关文章!

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在 Python 中,实现 Socket 的高并发可以使用多种方式,其中 `select` 和 `selectors` 是比较常用的两种方式。 1. 使用 `select` 实现 Socket 并发 使用 `select` 实现 Socket 的高并发,可以按照以下步骤进行: 1) 创建一个 Socket,设置为非阻塞模式,如下所示: ``` import socket server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server_socket.setblocking(False) ``` 2) 绑定 Socket 地址和端口,并开始监听,如下所示: ``` server_socket.bind(('localhost', 8000)) server_socket.listen(128) ``` 3) 创建一个 `select` 对象,并将监听的 Socket 加入到该对象中,如下所示: ``` import select rlist = [server_socket] wlist = [] xlist = [] while True: rs, ws, xs = select.select(rlist, wlist, xlist) for r in rs: if r is server_socket: conn, addr = server_socket.accept() conn.setblocking(False) rlist.append(conn) else: data = r.recv(1024) if data: # 处理接收到的数据 else: r.close() rlist.remove(r) ``` 4) 在 `select` 对象的 `select()` 方法中,使用 `rlist` 参数来监听读事件,使用 `wlist` 参数来监听写事件,使用 `xlist` 参数来监听异常事件。如果有 Socket 可读、可写或者出现异常,`select()` 方法就会返回对应的列表。 5) 在返回的可读列表中,如果是监听的 Server Socket,说明有新的连接请求,需要调用 `accept()` 方法接收连接,并将新的 Socket 加入到 `rlist` 列表中;如果是普通的 Socket,说明有数据到来,需要调用 `recv()` 方法接收数据,并进行相应的处理。 2. 使用 `selectors` 实现 Socket 并发 使用 `selectors` 实现 Socket 的高并发,可以按照以下步骤进行: 1) 创建一个 Socket,并将其注册到 `selectors` 对象中,如下所示: ``` import selectors import socket sel = selectors.DefaultSelector() server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server_socket.bind(('localhost', 8000)) server_socket.listen(128) server_socket.setblocking(False) sel.register(server_socket, selectors.EVENT_READ, data=None) ``` 2) 在 `selectors` 对象的 `select()` 方法中等待事件,如下所示: ``` while True: events = sel.select(timeout=None) for key, mask in events: if key.data is None: # 处理 Server Socket 的连接请求 else: # 处理普通 Socket 的数据读取和写入 ``` 3) 注册 Server Socket 的时候,将 `data` 参数设置为 `None`,在处理连接请求时,可以将 `data` 参数设置为新连接的 Socket 对象;在处理普通 Socket 的数据读取和写入时,可以通过 `key.data` 获取到该 Socket 对应的数据。 4) 在处理普通 Socket 的数据读取和写入时,可以通过 `mask` 参数来判断是读事件还是写事件,如果是读事件,就调用 `recv()` 方法接收数据,如果是写事件,就调用 `send()` 方法发送数据。 以上就是使用 `select` 和 `selectors` 实现 Socket 并发的步骤,具体实现时需要根据具体情况进行修改。 ### 回答2: 在Python中,要实现并发socket编程,可以使用selectors模块。 selectors模块提供了一种应对I/O多路复用的高效方式,它基于select或者epoll等系统调用,可以同时监视多个文件对象(如socket),并在有数据到来时进行处理。 首先,我们需要创建一个selectors对象,并注册要监视的socket对象。可以使用默认的selectors.DefaultSelector()来创建一个selector对象。 接下来,可以使用selectors对象的register方法来注册要监视的socket对象。register方法接受一个socket对象和一个事件类型(如selectors.EVENT_READ用于读事件),并将其添加到selector对象的监视列表中。 然后,可以使用selectors对象的select方法来等待事件的发生。select方法会一直阻塞直到有事件发生,并返回一个事件列表。 最后,可以遍历事件列表,根据事件的类型来处理不同的操作。例如,如果事件类型为selectors.EVENT_READ,则可以调用socket对象的recv方法来接收数据。 使用selectors模块能够实现并发socket编程,可以提高程序的性能和效率。同时,selectors模块还提供了一些其他功能,比如超时处理、取消注册等,可以根据实际需要进行使用。 总之,selectors模块是Python实现socket并发的一种高效方式,通过使用其提供的方法和功能,可以轻松实现并发socket编程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值