Python中的进程池
进程池Pool
- 当需要创建的子进程数量不多,可以直接利用multiprocessing中的Process动态的生成多个进程。
- 但如果是上百个甚至上千个目标,手动的去创建线程工作量很大,此时就可以用到multiprocessing模块提供的Pool方法。
- 我们应该对实际的应用场景来判断是否使用进程池。
- 初始化 Pool 时,可以指定一个最大的进程数,当有新的请求提交到Pool中时:
- 如果池还没满,那么就会创建一个新的进程来执行该请求。
- 如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行该请求
- 主进程和子进程:
- 一般情况,主进程会等待子进程结束后才会结束。
- 但是,在进程池中,主线程不会等待子进程,即主进程的结束与子进程再无关联。
- 当主进程结束时,无论子进程是否结束,子进程会立刻死亡。
- 所以,在使用进程池的过程中注意适当的堵塞主进程。
- 切记:进程池中产生异常的话,不会显示异常!
- 进程池的内置方法: