前面一篇已经把multiprocessing.Process
这个最基础的类给解剖了,接下来的这篇就是整个multiprocessing
中最重要的类Pool
的浅析了,因为如果把Pool
的所有方方面面都顾及到的话篇幅会比较长,所以我只会把Pool
的整体框架整理一下,细节的内容可以更多的去阅读源码。
1. multiprocessing.Pool
的几个参数的解读
Pool
的构造参数中有三个我认为比较有用的,先给大家介绍一下。processes
表示的是进程池pool中进程个数,如果没有指定那就是调用multiprocessing.get_cpu()
获得cpu个数作为processes
。initializer
是在初始化pool中的worker的时候调用的初始化函数,例如你每一个worker需要连接数据库,那么你可以在initializer
中去做这件事,这样每一个worker的数据库连接都是独立的。maxtasksperchild
是指每一个worker最多被重复调用的次数,例如maxtasksperchild = 3
则表示pool中的worker最多能处理3次任务,然后就会被销毁,然后再重新初始化一个worker,如果你认为你的worker可能会存在内存泄露的可能那么你可以把maxtasksperchild
设置成一个合理的值,这样就避免worker一直存活导致内存一直增长。
2. 核心流程图
在multiprocessing.Pool
中涉及到三个核心队列和三个核心的线程,如果用文字来描述可能会比
multiprocessing解析(二):Pool解析
最新推荐文章于 2024-08-06 09:53:31 发布