python3并发性能_Python几种并发实现方案的性能比较

前言 1.

偶然看到Erlang vs. Stackless python: a first benchmark,对Erlang和Stackless Python的并发处理性能进行了实验比较,基本结论认为二者有比较相近的性能。我看完产生的问题是,Stackless Python与Python的其他并发实现机制性能又会有多大区别呢,比如线程和进程。因此我采用与这篇文章相同的办法来对Stackless Python、普通Python的thread模块、普通Python的threading模块、普通Python的processing模块这四种并发实现方案进行了性能实验,并将实验过程和基本结果记录在这里。

后来看到了基于greenlet实现的高性能网络框架Eventlet,因而更新了实验方案,将greenlet也加入了比较,虽然greenlet并非是一种真正意义上的并发处理,而是在单个线程下对程序块进行切换轮流执行。

(Edit Section ↓)

实验方案 2.

实验方案与Erlang vs. Stackless python: a first benchmark是相同的,用每种方案分别给出如下问题的实现,记录完成整个处理过程的总时间来作为评判性能的依据:

1.由n个节点组成一个环状网络,在上面传送共m个消息。

2.将每个消息(共m个),逐个发送给1号节点。

3.第1到n-1号节点在接收到消息后,都转发给下一号节点。

4.第n号节点每次收到消息后,不再继续转发。

5.当m个消息都从1号逐个到达第n号节点时,认为全部处理结束。

(Edit Section ↓)

硬件平台2.1

Macbook Pro 3,1上的Vmware Fusion 1.0虚拟机中,注意这里给虚拟机只启用了cpu的单个核心:

?原始Cpu:Core 2 Duo,2.4 GHz,2核心,4 MB L2 缓存,总线速度800 MHz ?分配给虚拟机的内存:796M

(单个CPU,还能比较并发吗?)

(Edit Section ↓)

软件平台2.2

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在 Python 中,实现 Socket 的高并发可以使用多种方式,其中 `select` 和 `selectors` 是比较常用的两种方式。 1. 使用 `select` 实现 Socket 并发 使用 `select` 实现 Socket 的高并发,可以按照以下步骤进行: 1) 创建一个 Socket,设置为非阻塞模式,如下所示: ``` import socket server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server_socket.setblocking(False) ``` 2) 绑定 Socket 地址和端口,并开始监听,如下所示: ``` server_socket.bind(('localhost', 8000)) server_socket.listen(128) ``` 3) 创建一个 `select` 对象,并将监听的 Socket 加入到该对象中,如下所示: ``` import select rlist = [server_socket] wlist = [] xlist = [] while True: rs, ws, xs = select.select(rlist, wlist, xlist) for r in rs: if r is server_socket: conn, addr = server_socket.accept() conn.setblocking(False) rlist.append(conn) else: data = r.recv(1024) if data: # 处理接收到的数据 else: r.close() rlist.remove(r) ``` 4) 在 `select` 对象的 `select()` 方法中,使用 `rlist` 参数来监听读事件,使用 `wlist` 参数来监听写事件,使用 `xlist` 参数来监听异常事件。如果有 Socket 可读、可写或者出现异常,`select()` 方法就会返回对应的列表。 5) 在返回的可读列表中,如果是监听的 Server Socket,说明有新的连接请求,需要调用 `accept()` 方法接收连接,并将新的 Socket 加入到 `rlist` 列表中;如果是普通的 Socket,说明有数据到来,需要调用 `recv()` 方法接收数据,并进行相应的处理。 2. 使用 `selectors` 实现 Socket 并发 使用 `selectors` 实现 Socket 的高并发,可以按照以下步骤进行: 1) 创建一个 Socket,并将其注册到 `selectors` 对象中,如下所示: ``` import selectors import socket sel = selectors.DefaultSelector() server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server_socket.bind(('localhost', 8000)) server_socket.listen(128) server_socket.setblocking(False) sel.register(server_socket, selectors.EVENT_READ, data=None) ``` 2) 在 `selectors` 对象的 `select()` 方法中等待事件,如下所示: ``` while True: events = sel.select(timeout=None) for key, mask in events: if key.data is None: # 处理 Server Socket 的连接请求 else: # 处理普通 Socket 的数据读取和写入 ``` 3) 注册 Server Socket 的时候,将 `data` 参数设置为 `None`,在处理连接请求时,可以将 `data` 参数设置为新连接的 Socket 对象;在处理普通 Socket 的数据读取和写入时,可以通过 `key.data` 获取到该 Socket 对应的数据。 4) 在处理普通 Socket 的数据读取和写入时,可以通过 `mask` 参数来判断是读事件还是写事件,如果是读事件,就调用 `recv()` 方法接收数据,如果是写事件,就调用 `send()` 方法发送数据。 以上就是使用 `select` 和 `selectors` 实现 Socket 并发的步骤,具体实现时需要根据具体情况进行修改。 ### 回答2: 在Python中,要实现并发的socket编程,可以使用selectors模块。 selectors模块提供了一种应对I/O多路复用的高效方式,它基于select或者epoll等系统调用,可以同时监视多个文件对象(如socket),并在有数据到来时进行处理。 首先,我们需要创建一个selectors对象,并注册要监视的socket对象。可以使用默认的selectors.DefaultSelector()来创建一个selector对象。 接下来,可以使用selectors对象的register方法来注册要监视的socket对象。register方法接受一个socket对象和一个事件类型(如selectors.EVENT_READ用于读事件),并将其添加到selector对象的监视列表中。 然后,可以使用selectors对象的select方法来等待事件的发生。select方法会一直阻塞直到有事件发生,并返回一个事件列表。 最后,可以遍历事件列表,根据事件的类型来处理不同的操作。例如,如果事件类型为selectors.EVENT_READ,则可以调用socket对象的recv方法来接收数据。 使用selectors模块能够实现并发的socket编程,可以提高程序的性能和效率。同时,selectors模块还提供了一些其他功能,比如超时处理、取消注册等,可以根据实际需要进行使用。 总之,selectors模块Python实现socket并发的一种高效方式,通过使用其提供的方法和功能,可以轻松实现并发的socket编程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值