Python通过上下文管理器使用进程池multiprocessing.Pool

最新推荐文章于 2024-03-24 10:10:50 发布
VIP文章 最新推荐文章于 2024-03-24 10:10:50 发布
阅读量1.9k 收藏
点赞数
分类专栏： Python并发/并行编程 文章标签： 多进程 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiemanR/article/details/78448633
版权

进程池工具multiprocessing.Pool返回的对象其实是个上下文管理器。那么我们怎么知道multiprocessing.Pool对象是上下文管理器呢？我们看查看一下multiprocessing.Pool对象的属性，可以看到__enter__和__exit__函数，因此multiprocessing.Pool对象无疑是上下文管理器。




我们看一下__enter__和__exit__函数，__exit__函数里面是调用列terminate函数，所以如果通过上下文管理器方式使用就不用显式调用terminate函数了。

def __enter__(self):
最低0.47元/天 解锁文章
xiemanR
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python多进程（加入进程池）操作常见案例
01-02
本文实例讲述了python多进程（加入进程池）操作。分享给大家供大家参考，具体如下： 一、多进程复制多个文件 import multiprocessing import os import time # 复制文件，传入文件名 def copy_file(old_file_name, old_name): new_file_name = 'new_file' new_name = old_name if not os.path.exists(new_file_name): os.makedirs(new_file_name) with open(old_file_nam
进程--multiprocessing模块
Marvin_Wind的博客
05-25 462
进程–multiprocessing模块 一、知识梳理 1，进程 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。 2，线程 线程，有时被称为轻量级进程(Lightweight Process，LWP），是程序执行流的最小单元。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有...
操作系统 ---多进程 Multiprocessing
HelloWorld
09-30 1282
操作系统 --- 进程管理 Process Management什么是进程 (Process)多进程 Multi process进程的状态PCB --- Process Control Block上下文切换 ---- Context SwitchQueuesReady QueueDevice Queue 什么是进程 (Process) 进程是在执行过程中的程序, 储存在内存(memory) 中 一个在执行过程中的程序需要 program code text (程序代码) program count
Python从小白到高手实现系列二百一十五：使用multiprocessing.dummy 作为multithreading 接口
最新发布
Mr_Roki的博客
03-24 377
Tornado 或Eventlet，仍然有巨大的和活跃的社区，真的值得了解。但这并不意味着你需要牺牲multiprocessing 模块中的所有有用的抽象，只要你想。因此，预计其内置的异步功能将取代大多数的旧工具，同的概念，并且根据实现，它被命名不同。但是，当然，我们不使用线程来并发地处理异步程序中的工作。这可以减少代码中的样板代码数量，并且还可以创建更多可插入的接口。这些主要是相同的概念，但通常以一种不同的方式实现。节中，我们将仅集中在Python 原生支持的协程上，从版本3.5 开始。
多进程模块 multiprocessing，process类，进程队列、管道以及Managers，进程同步，协程
weixin_42166745的博客
10-06 349
Multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency,effectively side-steppi...
python实现multi函数_python并行计算（上）：multiprocessing、multiprocess模块
weixin_39610721的博客
12-06 1903
由于python相当易学易用，现在python也较多地用于有大量的计算需求的任务。本文介绍几个并行模块，以及实现程序并行的入门技术。本文比较枯燥，主要是为后面上工程实例做铺垫。第一期介绍最常用的multiprocessing模块，以及multiprocess模块。python实现多进程的模块最常用的是multiprocessing，此外还有multiprocess、pathos、concurren...
Python编程之多进程(multiprocessing)详解
LoveFishO的博客
10-27 5045
Python编程之多进程(multiprocessing)详解
Python 多进程编程
程序圆圆圆
08-19 929
进程池 with Pool(processes=4) as pool: # print "[0, 1, 4,..., 81]", 循序返回 print(pool.map(f, range(10))) # print same numbers in arbitrary order for i in pool.imap_unordered(f, range(10))...
python-多线程（池）/多进程（池）及线程同步编程
关注网络安全、云原生安全
07-22 1945
多线程编程 Python提供了几个用于多线程编程的模块，包括thread、threading 和Queue等。thread 和threading模块允许程序员创建和管理线程。thread 模块提供了基本的线程和锁的支持，而threading提供了更高级别，功能更强的线程管理的功能。Queue模块允许用户创建-一个可以用于多个线程之间共享数据的队列数据结构。 不建议使用thread模块，threading模块更高级，既然选择python语言，自然是不想像c语言，汇编语言去考虑内存管理，寄存器等底层的东西，
Python 多进程&多线程&线程池&进程池&协程
喵酱
02-26 3056
Python 多进程&多线程&线程池&进程池&协程
[python] Multiprocessing.Pool使用-多线程并发执行代码
摩天轮的幸福
07-26 1276
当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行它。传入不同进程数做数据化的请求耗时结果如下，可以看出，在进程7个的情况下耗时最小，实际7个线程跑3W的数据在0.5个小时就跑完了。工作进程退出之前可以完成的任务数，完成后用一个新的工作进程来替代原进程，来让闲置的资源被释放。根据文件某一列的数据，多线程并发执行代码，返回结果写入文件中，提升执行效率。...
python 多进程的两种启动方式
weixin_44818729的博客
07-15 765
# 多进程 # 启动方式一 with multiprocessing.Pool(process_count) as pool: for i in range(process_count): pool.apply_async(main) pool.close() pool.join() # 启动方式二 print(f"cpu_count: {multi...
解决windows下python3使用multiprocessing.Pool出现的问题
09-17
主要介绍了解决windows下python3使用multiprocessing.Pool出现的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python多进程multiprocessing.Pool类详解
09-20
主要为大家详细介绍了Python多进程multiprocessing.Pool类，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python多进程池 multiprocessing Pool用法示例
09-20
主要介绍了Python多进程池 multiprocessing Pool用法,结合实例形式分析了多进程池 multiprocessing Pool相关概念、原理及简单使用技巧,需要的朋友可以参考下
Python multiprocessing.pool创建非守护进程的方法
01-16
Python multiprocessing.pool创建非守护进程的方法
Python多进程库multiprocessing中进程池Pool类的使用详解
09-21
主要介绍了Python多进程库multiprocessing中进程池Pool类的使用详解,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python使用上下文管理器管理多进程
weixin_50232758的博客
12-05 380
使用python的上下文管理器管理多进程。
Python 多进程：multiprocessing、aiomultiprocess(异步多进程)
热门推荐
freeking101的博客
09-12 1万+
multiprocessing 包提供了本地和远程并发操作，通过使用子进程而非线程有效地绕过了全局解释器锁。 因此，multiprocessing 模块允许程序员充分利用给定机器上的多个处理器。
python进程池multiprocessing.Pool和线程池multiprocessing.dummy.Pool实例
05-26
Python的multiprocessing.Pool模块和multiprocessing.dummy.Pool模块都是用于创建进程池和线程池的工具。 进程池(multiprocessing.Pool)是一组维护在进程中的工作者，它们可以并行地执行任务。该模块是基于multiprocessing模块实现的，它通过创建多个进程来并行执行任务。 下面是一个创建进程池的示例： ``` python import multiprocessing def worker(process_num): print("Process %d is working" % process_num) if __name__ == '__main__': pool = multiprocessing.Pool(processes=4) for i in range(5): pool.apply_async(worker, args=(i,)) pool.close() pool.join() ``` 上面的示例中，我们创建了一个包含4个进程的进程池，并向进程池中提交了5个任务，每个任务调用worker函数并传递一个进程编号作为参数。我们使用apply_async方法向进程池中提交任务，并使用close和join方法管理进程池。 线程池(multiprocessing.dummy.Pool)是一组维护在线程中的工作者，它们可以并行地执行任务。该模块是基于threading模块实现的，它通过创建多个线程来并行执行任务。 下面是一个创建线程池的示例： ``` python from multiprocessing.dummy import Pool import time def worker(thread_num): print("Thread %d is working" % thread_num) time.sleep(1) if __name__ == '__main__': pool = Pool(4) for i in range(5): pool.apply_async(worker, args=(i,)) pool.close() pool.join() ``` 上面的示例中，我们创建了一个包含4个线程的线程池，并向线程池中提交了5个任务，每个任务调用worker函数并传递一个线程编号作为参数。我们使用apply_async方法向线程池中提交任务，并使用close和join方法管理线程池。 需要注意的是，线程池和进程池的用法基本相同，但是由于线程在Python中不能真正地并行执行，因此线程池的性能可能比进程池差。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值