asyncio 队列(Queue)

新的启动事件循环

# coding=utf-8
import asyncio
import random
from contextlib import closing

import aiohttp

NUMBERS = random.sample(range(100), 7)
URL = 'http://httpbin.org/get?a={}'
semaphore = asyncio.Semaphore(3)


async def fetch_async(a):
    async with aiohttp.request('GET', URL.format(a)) as r:
        data = await r.json( )
        return data['args']['a']


async def collect_result(a):
    async with semaphore:
        return await fetch_async(a)


# 生产者
async def produce(queue):
    for num in NUMBERS:
        print(f'生产: {num}')
        item = (num, num)
        await queue.put(item)


# 消费者
async def consume(queue):
    while True:
        item = await queue.get( )
        num = item[0]  # 因为存放的时候是元组,就取第一个数
        rs = await collect_result(num)
        print(f'\t 消费: {rs}...')
        queue.task_done( )


async def main( ):
    queue = asyncio.PriorityQueue( )
    consumer = asyncio.ensure_future(consume(queue))
    await produce(queue)
    # 阻塞并关闭------------------------------------
    await queue.join( )
    consumer.cancel( )


if __name__ == '__main__':
    # 修改了这里
    with closing(asyncio.get_event_loop( )) as loop:
        loop.run_until_complete(main( ))

旧的启动事件循环

# coding=utf-8
import asyncio
import random
import aiohttp

NUMBERS = random.sample(range(100), 7)
URL = 'http://httpbin.org/get?a={}'
semaphore = asyncio.Semaphore(3)


async def fetch_async (a):
    async with aiohttp.request('GET', URL.format(a)) as r:
        data = await r.json()
        return data['args']['a']


async def collect_result (a):
    async with semaphore:
        return await fetch_async(a)


# 生产者
async def produce (queue):
    for num in NUMBERS:
        print(f'生产: {num}')
        item = (num, num)
        await queue.put(item)


# 消费者
async def consume (queue):
    while True:
        item = await queue.get()
        num = item[0]  # 因为存放的时候是元组,就取第一个数
        rs = await collect_result(num)
        print(f'\t 消费: {rs}...')
        queue.task_done()


async def main (loop):
    queue = asyncio.PriorityQueue()
    consumer = asyncio.ensure_future(consume(queue))
    await produce(queue)
    # 阻塞并关闭------------------------------------
    await queue.join()
    consumer.cancel()


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    # ---------------------------------------------
    try:
        loop.run_until_complete(main(loop))
    finally:
        loop.close()

输出:

生产: 3
生产: 53
生产: 29
生产: 81
生产: 64
生产: 5
生产: 96
	 消费: 3...
	 消费: 5...
	 消费: 29...
	 消费: 53...
	 消费: 64...
	 消费: 81...
	 消费: 96...

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是一个使用 asyncio.Queue() 对象管理任务队列的示例代码: ```python import asyncio async def worker(name, queue): while True: # 从队列中获取任务 task = await queue.get() print(f'{name} got task: {task}') # 模拟任务处理过程 await asyncio.sleep(1) # 标记任务完成 queue.task_done() async def main(): # 创建队列对象 queue = asyncio.Queue() # 启动两个 worker workers = [worker(f'worker-{i}', queue) for i in range(2)] await asyncio.gather(*workers) # 向队列中添加任务 for i in range(5): await queue.put(f'task-{i}') # 等待所有任务完成 await queue.join() print('All tasks done!') # 运行主程序 asyncio.run(main()) ``` 在这个示例中,我们创建了一个 `worker` 协程函数,它会不断地从队列中获取任务,并进行处理。我们启动了两个这样的协程,以便能够并发地处理任务。 在主程序中,我们创建了一个 `asyncio.Queue()` 对象,用于存放待执行的任务。然后向队列中添加了 5 个任务。通过 `await queue.join()`,我们等待所有任务完成。 当一个任务完成时,我们需要调用 `queue.task_done()` 来标记任务已经完成。这样,`await queue.join()` 才会在所有任务都完成的时候返回。 运行上述代码,你会看到类似如下的输出: ``` worker-0 got task: task-0 worker-1 got task: task-1 worker-0 got task: task-2 worker-1 got task: task-3 worker-0 got task: task-4 All tasks done! ``` 这表明两个 worker 协程函数同时从队列中获取任务,然后交替地处理它们。当所有任务都完成时,程序输出了 `All tasks done!`。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值