python 多进程之进程池的操作

当需要创建的子进程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程, 但是如果是上百甚至上千个目标,手动的去创建的进程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。
初始化 Pool 时,需要指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求,但是如果进程池中的进程已经达到指定的最大值,那么该请求 就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。
进程池语法:
from mutiprocessing import Pool
po = Pool(num) #创建一个进程池
po.apply_async() 使用进程池中的进程处理任务
po.close() 关闭进程池,不再接受新的请求
po.join() 令主进程等待子进程的执行
代码实现:

import multiprocessing
import os
import time

def worker(msg):
    start_time = time.time()
    print(msg,f'开始运行,线程号{os.getpid()}')
    time.sleep(2)
    stop_time = time.time()
    print(msg, f'结束运行,所用时间{stop_time-start_time}')

def main():
    #新建进程池
    pool = multiprocessing.Pool(3)
    for i in range(10):
        #开始执行任务
        pool.apply_async(worker,args=(i,))
    #关闭线程池,线程池不接接受新的任务
    #主进程阻塞,子进程不会结束
    print('主进程开始执行')
    pool.close()
    pool.join()
if __name__ == '__main__':
    main()
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值