多进程(四)

进程池Pool

一个特殊的容器,容器中可以容纳很多个进程,可以重复利用进程池中的进程。

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。

进程的创建和销毁都会消耗资源,进程池可以有效的提升效率。

from multiprocessing import Pool
import os, time, random

def worker(msg):
    t_start = time.time()
    print("%s开始执行,进程号为%d" % (msg,os.getpid()))
    # random.random()随机生成0~1之间的浮点数
    time.sleep(random.random()*2) 
    t_stop = time.time()
    print(msg,"执行完毕,耗时%0.2f" % (t_stop-t_start))

if __name__ == "__main__":
	po = Pool(3)  # 定义一个进程池,最大进程数3
	for i in range(0,10):
    	# Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
    	# 每次循环将会用空闲出来的子进程去调用目标
    	# 进程池满了也不会阻塞,继续添加,但是没有空闲进程执行,先存储起来
    	po.apply_async(worker,(i,))

	print("----start----")
	po.close()  # 关闭进程池,关闭后po不再接收新的请求
	# 主进程不会等待进程池中的子进程结束,需要调用po.join()
	po.join()  # 等待po中所有子进程执行完成,必须放在close语句之后
	print("-----end-----")

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值