1 Concurrent Execution
适当的工具选择取决于要执行的任务(CPU绑定 v.s. IO绑定)和首选样式的开发风格(事件驱动的协作多任务vs抢占式多任务处理)。
1.1 threading — Thread-based parallelism
1.5 queue — A synchronized queue class
该模块实现了三种类型的队列,它们的区别只是检索条目的顺序不同。
- FIFO队列
- LIFO队列
- 优先级队列——条目保持排序(使用heapq模块),首先检索值最低的条目。
1.5.1 Queue Objects
-
Queue.qsize()
返回队列的大致大小。注意,qsize() > 0不能保证后续的get()不会阻塞,qsize() < maxsize也不能保证put()不会阻塞。 -
Queue.empty()
如果队列为空则返回True,否则返回False。如果empty()返回True,它并不保证后续对put()的调用不会阻塞。类似地,如果empty()返回False,它并不保证后续对get()的调用不会阻塞。 -
Queue.full()
如果队列已满则返回True,否则返回False。如果full()返回True,它并不保证后续对get()的调用不会阻塞。类似地,如果full()返回False,它并不保证后续对put()的调用不会阻塞。 -
Queue.put(item, block=True, timeout=None)
将item放入队列中。如果可选参数block为true且timeout为None(默认值),则在必要时阻塞,直到有空闲槽位可用。如果timeout是正数,它最多阻塞timeout秒,如果在此时间内没有可用的空闲槽位,则会引发Full异常。否则(block为false),如果有空闲槽位立即可用,则将一个项放到队列中,否则引发Full异常(在这种情况下超时将被忽略)。 -
Queue.put_nowait(item)
Equivalent toput(item, False)
. -
Queue.get(block=True, timeout=None)
从队列中移除并返回一个项。如果可选参数block为true且timeout为None(默认值),则在必要时阻塞,直到有可用的项。如果timeout是正数,它最多阻塞timeout秒,如果在此时间内没有可用项,则引发Empty异常。否则(block为false),返回一个立即可用的项,否则引发Empty异常(在这种情况下超时将被忽略)。 -
Queue.get_nowait()
Equivalent toget(False)
.
提供了两种方法来支持跟踪队列中的任务是否已被守护进程消费者线程完全处理。
-
Queue.task_done()
指示以前进入队列的任务已经完成。由队列消费者线程使用。对于用于获取任务的每个get()
,后续调用task_done()
告诉队列任务的处理已经完成。
如果join()
当前处于阻塞状态,那么当所有的条目都被处理后,它将继续运行(这意味着对于队列中已经put()
的每个条目,都收到了task_done()
调用)。
如果调用的次数超过队列中的条目数,则引发ValueError
。 -
Queue.join()
阻塞,直到获得并处理队列中的所有项。
每当向队列中添加项目时,未完成任务的数量就会增加。每当消费者线程调用task_done()
来表示已检索到该条目并完成所有相关工作时,该计数就会下降。当未完成任务的计数下降到0时,join()
将解除阻塞。
实现如何等待进入队列的任务完成的例子: