multiprocessing解析(二):Pool解析

前面一篇已经把multiprocessing.Process这个最基础的类给解剖了,接下来的这篇就是整个multiprocessing中最重要的类Pool的浅析了,因为如果把Pool的所有方方面面都顾及到的话篇幅会比较长,所以我只会把Pool的整体框架整理一下,细节的内容可以更多的去阅读源码。
1. multiprocessing.Pool的几个参数的解读
Pool的构造参数中有三个我认为比较有用的,先给大家介绍一下。processes表示的是进程池pool中进程个数,如果没有指定那就是调用multiprocessing.get_cpu()获得cpu个数作为processesinitializer是在初始化pool中的worker的时候调用的初始化函数,例如你每一个worker需要连接数据库,那么你可以在initializer中去做这件事,这样每一个worker的数据库连接都是独立的。maxtasksperchild是指每一个worker最多被重复调用的次数,例如maxtasksperchild = 3则表示pool中的worker最多能处理3次任务,然后就会被销毁,然后再重新初始化一个worker,如果你认为你的worker可能会存在内存泄露的可能那么你可以把maxtasksperchild设置成一个合理的值,这样就避免worker一直存活导致内存一直增长。
2. 核心流程图
multiprocessing.Pool中涉及到三个核心队列和三个核心的线程,如果用文字来描述可能会比

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值