python的多进程（第三篇）进程池的理解和使用

最新推荐文章于 2024-03-26 12:24:05 发布
最新推荐文章于 2024-03-26 12:24:05 发布
阅读量6.1k 收藏 4
点赞数
分类专栏： python 文章标签： python 进程池
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44174099/article/details/89282707
版权

什么是进程池

  • 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态生成多个进程，如果是上百个甚至上千个目标，收订的去创建进程的工作量巨大，此时就可以用到multiprocess模块提供的Pool方法
  • 初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求
  • 如果池中的进程数已经达到指定的最大值，那么该请求就会等待，知道池中有进程结束，才会用之前的进程来执行新的任务。
  • 池子里面放的是进程，进程池会根据任务执行情况自耦东创建进程，而且尽量少创建进程，合理利用进程池中的进程完成多任务

python怎么使用进程池

import multiprocessing
import time


# 拷贝任务
def work():
    print("复制中...", multiprocessing.current_process().pid)
    time.sleep(0.5)

if __name__ == '__main__':
    # 创建进程池
    # 3:进程池中进程的最大个数
    pool = multiprocessing.Pool(3)
    # 模拟大批量的任务，让进程池去执行
    for i in range(5):
        # 循环让进程池执行对应的work任务
        # 同步执行任务，一个任务执行完成以后另外一个任务才能执行
        pool.apply(work)
  • 运行结果
复制中... 100512
复制中... 68128
复制中... 98924
复制中... 100512
复制中... 68128

解释

  • 当程序第四次运行时，其实他的进程号和第一个程勋运行的是一样的，因为我之前就设定了最大的进程池数量为3，这样多个进程运行时，会以3位周期，进行循环的运行
  • pool.apply()是同步执行进程
  • 通过进程池创建的进程是守护主进程的状态
  • 通过Process创建的进程是不会守护主进程的状态

进程的异步执行任务

  • 进程池异步执行任务表示进程池中的进程同时执行任务，进程之间不会等待
  • 上面已近说了进程池执行任务默认是守护主进程，所以需要所有的进程完成，需要对主进程进行阻塞
  • 代码实例
    在这里插入图片描述
    在这里插入图片描述

小结

  • apply(func[, args[, kwds]]): 阻塞方式调用函数，args表示以元组方式给函数传参，kwds表示以字典方式给函数传参
  • apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用函数，args表示以元组方式给函数传参，kwds表示以字典方式给函数传参
  • close()：关闭Pool，使其不再接受新的任务；
  • terminate()：不管任务是否完成，立即终止；
  • join()：主进程阻塞，等待子进程的退出， 必须在close或terminate之后使用；
无霸独尊
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python自定义线程池控制线程数量的示例
09-19
今天小编就为大家分享一篇python自定义线程池控制线程数量的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python多进程（加入进程池）操作常见案例
09-18
再来看看第三个例子，多进程聊天器。在这个需求中，主进程创建一个TCP连接，然后为每个连接创建一个新的进程，这样每个连接都可以独立处理通信，避免了单线程模型下的阻塞问题。为了实现这个功能，我们需要使用`...
python 进程池的使用
weixin_34186950的博客
10-19 118
进程同步 进程的数据是独立存在的，进程也能加锁。 from multiprocessing import Process, Lock def f(l,i): l.acquire() print('hello world',i) l.release() if __name__ =='__main__': lock = Lock() ...
零基础学python之高级编程(6)---Python中进程的Queue 和进程锁,以及进程池的创建 （包含详细注释代码）
最新发布
2301_79795470的博客
03-26 1251
大家好,上一篇文章,我们初步接触了进程的概念及其应该如何创建一个进程等等,今天我们继续来深入学习一下进程中的进程间同步 Queue和进程锁lock还有进行创建一个进程池pool等等,我们开始今天的学习吧!
Python（进程池）
qq_43281189的博客
01-22 235
1. 什么是进程池 1.1 在使用Python进行系统管理时，特别是同时操作多个文件目录或者远程控制多台主机，并行操作可以节约大 量时间，如果操作的对象数目不大时，还可以直接适用Process类动态生成多个进程，几十个尚可，若上百个 甚至更多时，手动限制进程数量就显得特别繁琐，此时进程池就显得尤为重要。 进程池Pool类可以提供指定数量的进程供用户调用，当有新的请求提交至Pool中时，...
python之进程池
qq_30295213的博客
08-16 735
初始化Pool时，可以指定⼀个最⼤进程数， 当有新的请求提交到Pool中时， 如果池还没有满，那么就会创建⼀个新的进程⽤来执⾏该请求； 但如果池中 的进程数已经达到指定的最⼤值，那么该请求就会等待，直到池中有进程结 束，才会创建新的进程来执行 from multiprocessing import Pool import os import random import time ...
python 多进程之进程池的操作
LCY133的博客
07-07 407
当需要创建的子进程数量不多时，可以直接利用 multiprocessing 中的 Process 动态生成多个进程， 但是如果是上百甚至上千个目标，手动的去创建的进程的工作量巨大，此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。 初始化 Pool 时，需要指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求，但是如果进程池中的进程已经达到指定的最大值，那么该请求 就会等待，直到池中有进程结束，才会用之前的进程来执
Python使用多进程运行含有任意个参数的函数
09-16
总之，Python中实现多进程运行含有多参数的函数，可以通过`functools.partial`、可变参数或第三方库`pathos`来解决。选择哪种方法取决于具体的应用场景和需求。在实际编程中，要根据任务的特性和性能要求，灵活运用...
Python 使用threading+Queue实现线程池示例
09-18
2. **concurrent.futures模块**：这是Python 3自带的模块，提供了ThreadPoolExecutor和ProcessPoolExecutor，用于线程和进程池的管理。Python 2.7及以上版本可以通过第三方库futures安装。 3. **自定义线程池**：...
Python爬虫技术入门到高级第五章
04-06
高并发爬虫是指使用多线程和多进程技术，提高爬虫的并发性和效率。 十、爬虫实战 爬虫实战是爬虫技术的实践应用，包括爬取豆瓣电影排行榜、爬取天气数据、爬取新闻网站数据等。爬虫实战需要结合实际情况，选择合适...
python入门到高级全栈工程师培训 第3期 附课件代码
06-07
第3章 01 网络基础和dos命令 02 为何学习linux 03 课程内容介绍 04 操作系统内核与系统调用 05 操作系统安装原理 06 linux操作系统安装 07 初识linux命令 08 linux操作系统目录结构 09 目录及文件操作 第4章 01 ...
python 进程池 等待数量_【2020Python修炼记】python并发编程（六）补充—进程池和线程池...
weixin_30682635的博客
02-20 259
1、2、 为啥要有进程池和线程池进程池来控制进程数目，比如httpd的进程模式，规定最小进程数和最大进程数3、创建进程池的类pool如果指定numprocess为3，则进程池会从无到有创建三个进程，然后自始至终使用这三个进程去执行所有任务，不会开启其他进程pool([numprocess [,initializer [, initargs]]]):创建进程池参数介绍：numprocess:要创建...
Python学习笔记十三（多任务、进程、进程池）
DragonFangQy
04-29 608
多任务之进程 什么是进程 进程是CPU资源分配的基本单位，进程包含线程，线程依赖于进程。 进程的状态 - 就绪态：运行的条件都已经慢去，正在等在cpu执行 - 执行态：cpu正在执行其功能 - 等待态：等待某些条件满足，例如一个程序sleep了，此时就处于等待态 进程可以理解为一个团队，而线程就是团队的成员。当团队要同时完成多个项目，缺少人手时需要招人，既开辟子线程，当然也可以使...
进程池和线程池
weixin_30894389的博客
05-09 97
为什么要用线程池 系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。 线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它。当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待执行...
一文详解Python中多进程和进程池的使用方法
Rocky006的博客
04-19 1750
Python是一种高级编程语言，它在众多编程语言中，拥有极高的人气和使用率。Python中的多进程和进程池是其强大的功能之一，可以让我们更加高效地利用CPU资源，提高程序的运行速度。本篇博客将介绍Python中多进程和进程池的使用方法，并提供一些实用的案例供读者参考。
进程池Pool
weixin_34370347的博客
05-29 77
　　当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。 　　初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达...
14 ，进程池，进程，线程，最佳数量 ，回调函数：
孙砚秋的博客
05-27 412
1 ，系统有几个进程 ： os.cpu_count() 2 ，最佳开进程数量 ： 系统进程数量 + 1 3 ，最佳开几个线程 ： 系统进程数量 * 5 4 ，进程池 ： 概念 定义一个池子，在里面放上固定数量的进程 有需求来了，就拿一个池中的进程来处理任务 等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。 如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。 也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行
python multiprocessing：多进程与进程池
学习笔记
07-02 408
python 多进程与进程池
python 多进程并发（进程池）
weixin_41972997的博客
01-10 150
python 多进程并发（进程池）
python 多进程
08-09
### 回答1： Python 中有多种方法可以实现多进程，包括使用 `os.fork()`、`multiprocessing` 模块和 `concurrent.futures` 模块等。 1. 使用 `os.fork()` `os.fork()` 是一个 Unix 系统调用，它可以复制当前进程，创建一个新进程。父进程和子进程会共享代码段，但是各自有独立的数据段和堆栈段。在 Python 中，可以通过 `os.fork()` 实现多进程，示例代码如下： ```python import os pid = os.fork() if pid == 0: # 子进程 print('I am child process, my pid is', os.getpid()) else: # 父进程 print('I am parent process, my pid is', os.getpid(), 'and my child pid is', pid) ``` 2. 使用 `multiprocessing` 模块 `multiprocessing` 模块是 Python 内置的多进程模块，可以很方便地实现多进程。示例代码如下： ```python import multiprocessing def worker(): print('I am child process, my pid is', os.getpid()) if __name__ == '__main__': # 创建子进程 p = multiprocessing.Process(target=worker) # 启动子进程 p.start() # 等待子进程结束 p.join() # 父进程 print('I am parent process, my pid is', os.getpid()) ``` 3. 使用 `concurrent.futures` 模块 `concurrent.futures` 模块是 Python 内置的线程池和进程池模块，可以很方便地实现异步任务。示例代码如下： ```python import concurrent.futures def worker(): print('I am child process, my pid is', os.getpid()) if __name__ == '__main__': # 创建进程池 with concurrent.futures.ProcessPoolExecutor() as executor: # 提交异步任务 future = executor.submit(worker) # 等待任务完成 result = future.result() # 父进程 print('I am parent process, my pid is', os.getpid()) ``` 以上是三种常用的 Python 多进程实现方式，具体选用哪种方式，需要根据实际情况来决定。需要注意的是，在 Windows 平台上，由于 `os.fork()` 不被支持，因此不能使用第一种方式创建多进程。 ### 回答2： Python多进程是指利用Python编程语言提供的多进程模块来实现并行计算。Python的多进程模块主要包括了`multiprocessing`和`concurrent.futures`两个子模块，用于实现多进程的创建、启动和管理。 使用Python的多进程可以带来多个优点。首先，使用多进程可以充分利用多核处理器的计算资源，提高程序的运行效率。其次，多进程可以实现程序的并行计算，将计算任务分配到多个进程中同时执行，从而缩短程序的运行时间。同时，多进程还可以解决Python的全局解释锁（GIL）问题，使得并行计算更加高效。 在Python中，使用多进程可以通过以下几个步骤实现。首先，需要导入`multiprocessing`或`concurrent.futures`模块。然后，通过创建`Process`或`Executor`对象来创建进程。接下来，可以使用`start()`方法启动进程，使用`join()`方法等待进程结束。同时，还可以使用`Process`或`Executor`对象提供的其他方法来管理进程的状态和结果。 除了基本的多进程操作外，Python的多进程模块还提供了一些辅助功能，如进程间通信、进程池等。进程间通信可以通过`Queue`、`Pipe`等来实现，用于实现进程之间的数据交换。而进程池可以通过`Pool`来实现，用于管理多个进程的执行和返回结果。 总之，Python多进程是一种并行计算的方法，可以充分利用计算资源和提高程序的运行效率。通过多进程的方式，可以实现更快速和有效的数据处理和计算。 ### 回答3： Python 多进程是指在一个 Python 程序中同时运行多个进程的能力。多进程可以充分利用多核处理器，并且能够提高程序的运行效率和性能。 在 Python 中，我们可以使用 `multiprocessing` 模块来实现多进程。通过创建多个进程，每个进程都拥有独立的内存空间和数据栈，可以同时运行不同的任务。 使用 `multiprocessing` 模块，我们可以创建一个进程池，通过调用其 `Pool` 类的 `map()` 或 `apply()` 方法，将任务分配给进程池中的不同进程来并行执行。这样，我们可以有效地利用多个 CPU 核心，提高程序的运行效率。 需要注意的是，每个进程都有自己独立的内存空间，因此在多进程编程时，需要特别注意进程间的数据共享和同步问题。在多进程编程中，常用的同步机制包括锁、信号量、事件等，可以通过 `multiprocessing` 模块中的相关类来实现。 此外，多进程编程还可以进一步拓展为分布式进程编程，即将进程分布在多台机器上运行，通过网络进行通信和协调。在 Python 中，可以使用 `multiprocessing` 模块中的 `Manager` 类来实现分布式进程。 总的来说，Python 的多进程编程能够提高程序的执行效率和性能，特别适合于那些需要大量计算的任务，如数据处理、图像处理等。通过合理地运用多进程，并结合适当的同步机制，我们可以充分发挥多核处理器的潜力，提高程序的运行效率和吞吐量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值