背景
- 应用存在大量非持久性/高阻塞的独立过程时,阻塞对效果的影响比计算资源消耗更大。这个时候使用轻量协程(coroutine)比多线程更加安全可控,极大减少了锁、线程资源复制等隐藏问题/比使用多进程更加轻量易管理。例如:网路爬虫,每个网页的请求作为独立的高阻塞原子动作,使用协程能将大量请求异步调度
- 使用多进程queue对协程任务create/cancel进行动态管理时,即引发本次记录问题:如何在异步执行task时,能在event loop中异步监听消息队列,既能正常执行单进程单线程的大量协程任务调度,又能异步获取消息队列消息不阻塞?
实现
- 实际上,用signal同样可以做动态管理,但signal并不是很友好,而且偏控制偏底层,还容易因为捕获/处理不当引入signal safety的问题。这里只提供一种有较好封装易于管理的高层api的实现。
- 本文使用的python3.8,应该是asyncio库比较稳定的一版,跟3.6/3.7在语法上可能有所不同
import concurrent.futures
from multiprocessing import Process, Manager
import uuid, os, threading
'子进程,用于模仿控制管理进程发送控制消息'
def put_data(q):
while True:
data = f'{time.asctime()}: {uuid.uuid1()}'
q.put(data)
print(f'PUT [PID: {os.getpid()} TID: {threa