python使用asyncio单进程异步监听进程间queue通信

背景

  • 应用存在大量非持久性/高阻塞的独立过程时,阻塞对效果的影响比计算资源消耗更大。这个时候使用轻量协程(coroutine)比多线程更加安全可控,极大减少了锁、线程资源复制等隐藏问题/比使用多进程更加轻量易管理。例如:网路爬虫,每个网页的请求作为独立的高阻塞原子动作,使用协程能将大量请求异步调度
  • 使用多进程queue对协程任务create/cancel进行动态管理时,即引发本次记录问题:如何在异步执行task时,能在event loop中异步监听消息队列,既能正常执行单进程单线程的大量协程任务调度,又能异步获取消息队列消息不阻塞?

实现

  1. 实际上,用signal同样可以做动态管理,但signal并不是很友好,而且偏控制偏底层,还容易因为捕获/处理不当引入signal safety的问题。这里只提供一种有较好封装易于管理的高层api的实现。
  2. 本文使用的python3.8,应该是asyncio库比较稳定的一版,跟3.6/3.7在语法上可能有所不同
import concurrent.futures
from multiprocessing import Process, Manager
import uuid, os, threading

'子进程,用于模仿控制管理进程发送控制消息'
def put_data(q):
    while True:
        data = f'{time.asctime()}: {uuid.uuid1()}'
        q.put(data)
        print(f'PUT [PID: {os.getpid()} TID: {threa
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值