Python异步库里面的队列

最新推荐文章于 2024-08-29 04:16:26 发布

颛顼子

最新推荐文章于 2024-08-29 04:16:26 发布

阅读量514

点赞数

文章标签：异步队列 python

本文链接：https://blog.csdn.net/hohomi77/article/details/100076546

版权

本文介绍了Python异步库中的asyncio.Queue，强调其非线程安全特性及在单线程环境下的使用。内容包括Queue的接口、生产者消费者问题的信号量解法，以及Queue如何通过put和get方法对应解法。asyncio.Queue提供了task_done和join方法，方便处理有界缓冲区问题，但不适用于多线程并行计算，此时可考虑使用multiprocessing.Queue。

摘要由CSDN通过智能技术生成

了解一下asyncio.Queue

接口：

构造函数中可以指定队列的maxsize
供消费者使用的：获取任务get()、通知任务做完了task_done()
供生产者使用的：发布任务put()、等待所有任务完成join()

其中，await get()在无任务的时候会阻塞，await put()在队列满的时候会阻塞。
如果maxsize是0，队列是无限大。

不是线程安全

asyncio.Queue这个队列是在单线程下使用的。千万不能多个线程共享1个队列。多线程应该用queue.Queue。
https://docs.python.org/3/library/queue.html

生产者消费者的问题的信号量解法

任何一本大学《操作系统》教材都会有这个经典解法。用1个mutex，和2个semaphore来解多个生产者/多个消费者问题。
我从 wikipedia复制了一段代码下来。

mutex buffer_mutex; // similar to "semaphore buffer_mutex = 1", but different (see notes below)
semaphore fillCount = 0;
semaphore emptyCount = BUFFER_SIZE;

procedure producer() 
{
   
    wh