进程池
当需要创建的子进程数据不多时,可以直接利用multiprocessing中的Process动态生成多个进程,但是如果是百上千个目标,手动的去创建里程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程来执行该请求,但是如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前是的进程来执行新的任务
import multiprocessing
def demo1(q):
# 进程池里面的进程 如果出现异常 不会主动抛出 在进程池进行多任务尽量加异常处理
# 1/0 # 不会报错
try:
q.put('a')
except Ellipsis as e:
print(e)
def demo2(q):
try:
data = q.get()
print(data)
except Ellipsis as e:
print(e)
if __name__ == '__main__':
# q = Queue() # 普通队列 不能完成进程之前的通信
# q = multiprocessing.Queue() # 跨进程通信队列 能完成进程间通信
q = multiprocessing.Manager().Queue() # 能完成进程池中的进程通信
po = multiprocessing.Pool(2)
po.apply_async(demo1,args=(q,))
po.apply_async(demo2,args=(q,))
po.close()
po.join()