Python 进程池之非阻塞式与阻塞式

进程池

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建过程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到泄中有进程结束,才会创建新的进程来执行。

非阻塞式进程

全部添加到队列中,立刻返回,并没有等待其他的进程完毕。
在这里插入图片描述
在这里插入图片描述

但是回调函数是等待任务结束才调用。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python实现多线程和多进程的方有很多,例如使用Thread和Process模块,以及使用concurrent.futures和multiprocessing模块等。下面介绍一些多线程和多进程调优的方法: 1. 使用线程进程 创建大量线程或进程会导致系统资源的浪费和性能下降,因此可以使用线程进程来控制并发数量,提高执行效率。线程进程可以通过ThreadPoolExecutor和ProcessPoolExecutor来创建,示例如下: ```python from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor # 创建线程 with ThreadPoolExecutor(max_workers=4) as executor: results = executor.map(func, args) # 创建进程 with ProcessPoolExecutor(max_workers=4) as executor: results = executor.map(func, args) ``` 其,max_workers表示最大并发数,func表示要执行的函数,args表示函数的参数。 2. 使用共享内存 多进程之间的通信可以使用共享内存来提高效率,例如使用multiprocessing模块的Value和Array来创建共享变量,示例如下: ```python import multiprocessing as mp # 创建共享变量 value = mp.Value('i', 0) array = mp.Array('i', range(10)) ``` 其,'i'表示变量类型为整型,0表示初始值,range(10)表示数组的初始值。 3. 避免全局解释器锁(GIL) Python的全局解释器锁(GIL)会导致多线程程序的性能瓶颈,因此可以使用多进程来避免GIL的影响。另外,也可以使用Cython等工具将CPU密集型任务转换为C语言或其他语言来提高性能。 4. 使用异步编程 异步编程可以将阻塞的I/O操作转化为非阻塞的异步操作,从而提高程序的性能和响应速度。Python可以使用asyncio模块来实现异步编程,示例如下: ```python import asyncio async def func(): # 异步操作 pass # 创建事件循环 loop = asyncio.get_event_loop() # 异步执行函数 loop.run_until_complete(func()) ``` 其,async定义的函数表示异步函数,asyncio.get_event_loop()用于创建事件循环,loop.run_until_complete()用于异步执行函数。 以上是一些多线程和多进程调优的方法,可以根据实际情况选择相应的方法来提高程序性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值