正确关闭multiprocessing进程

最新推荐文章于 2023-12-25 11:32:53 发布
最新推荐文章于 2023-12-25 11:32:53 发布
阅读量368 收藏
点赞数
文章标签： 服务器 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq506982273/article/details/134878016
版权
本文讲述了在使用Python的multiprocessing.Pool时，如何有效地关闭进程以避免残留问题。尝试了kill、terminate和join方法，最终发现close方法能成功终止并关闭进程，即使在进程可能处于睡眠状态时也能收到信号。
摘要由CSDN通过智能技术生成

https://superfastpython.com/shutdown-the-multiprocessing-pool-in-python/

最近遇到一个进程残留的问题，排查后发现multiprocessing.Pool()创建的进程，在程序中关闭的时候有概率残留。

如果在进程中去kill，有概率没杀完就把当前的进程给杀掉，依然会残留

然后改为terminate()方法去终止进程，发现这个方法只是发一个终止信号，还是有概率会残留

然后改为在terminate后，join一下，等待终止结果，效果会好一些。

但是直接terminate又有概率会阻塞当前进程，我猜大概是因为这个进程池已经sleep了，收不到terminate信号

最后参考这篇文章，我改为close就可以成功了

wleoi
关注
python多进程并发传参 队列
jacke121的专栏
06-13 3619
# !/usr/bin/env python # -*- coding: utf-8 -*- import multiprocessing import random import time import os import cv2 class producer(multiprocessing.Process): def __init__(self, queue): ...
Python 多进程 multiprocessing 使用示例
墨鱼菜鸡
07-11 769
multiprocessing 文档：https://docs.python.org/zh-cn/3.10/library/multiprocessing.html Process、Lock、Semaphore、Queue、Pipe、Pool：https://cuiqingcai.com/3335.html 把一个多线程改成多进程，主要有下面几种方法：...
多进程
chang___hong的专栏
04-05 1168
本文是windows系统，使用的是跨平台的multiprocessing模块。python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。 multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。 Lock：用来避免访问冲突、 Semaphore：用
python--multiprocessing多进程总结
weixin_33770878的博客
07-27 388
　　由于GIL的存在，python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了...
python生产者消费者模式_Python 生产者消费者模式
weixin_39867594的博客
11-30 241
生产者消费者模式在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题，该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度生产者和消费者模式来源在线程世界里, 生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那...
python里使用multiprocessing.Pool创建的子进程放到后台执行后怎样批量结束
最新发布
风柏杨的技术博客
12-25 564
一文解决怎样批量杀死python进程池里的所有子进程
第十章：使用进程、线程和协程提供并发性-multiprocessing:像线程一样管理进程-进程退出状态
编程菜鸟iglesias的博客
05-02 143
10.4.7 进程退出状态 进程退出时生成的状态码可以通过exitcode属性访问。表10-1列出了这个属性的可取值范围。 import multiprocessing import sys import time def exit_error(): sys.exit(1) def exit_ok(): return def return_value(): retu...
Python Multiprocessing多进程 使用tqdm显示进度条的实现
09-18
在Python编程中，当面临计算密集型任务时，单线程的执行方式可能...通过正确地管理和调度进程，可以有效地利用系统资源，提升程序的运行效率。在实际开发中，根据任务的特性和需求选择合适的并行计算策略是非常重要的。
Python多进程multiprocessing、进程池用法实例分析
09-17
Python的多进程编程是通过`multiprocessing`模块实现的，该模块提供了进程管理以及进程池的功能，使得在Python中能够方便地创建和控制多个独立运行的进程。在Python中，多进程比多线程更适合于CPU密集型任务，因为每...
Python高级编程之消息队列(Queue)与进程池(Pool)实例详解
09-18
这样，既可以利用进程池来管理子进程，又能保证任务的执行顺序和结果的正确获取。 最后，值得一提的是，进程间通信不仅仅局限于消息队列，还可以通过信号、管道、共享内存等多种方式实现。选择合适的方式取决于具体...
multiprocessing对僵尸进程的处理
Wzzzx的博客
11-22 7819
关于僵尸进程的相关资料，这篇博客讲的挺透彻的，可以参考进行学习了解。 之所以想写这么一篇博客，是在学TCP/IP网络编程时，讲到多进程服务器的构建时，父进程需要对子进程进行处理，不然的话会产生一堆的僵尸进程，最后会危害整个系统。然后想到我之前写的爬虫，Dwonloader使用的就是多进程的方式来并发下载数据。在Downloader中，我的做法是凑够一定数量的请求，然后开启一个进程，让这个进程去处理
python强制关闭进程_Python - multiprocessing运行和停止进程
weixin_39585886的博客
12-04 2445
基本用法本文只介绍控制进程启停的操作, 因此只用到一个Process类首先写一个保持运行的方法:def run_forever():while 1:print(time.time())time.sleep(2)初始化一个Process实例, target为该实例运行时执行的方法.通过调用Process类的start方法启动一个进程:from multiprocessing import Proce...
python进程池：multiprocessing.pool
机器学习的小学生
06-17 1068
转载自： http://www.cnblogs.com/kaituorensheng/p/4465768.html在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过
Python 多进程池中子进程挂了导致进程不能结束的问题小结
mxdsdo09的博客
08-16 8339
问题：Python multiprocessing pool not shutting down while child processes is oom 开篇点题：在使用python的multiprocessing中的pool时，会出现子进程因为各种原因挂了之后主进程任务停不下来的情况。这是因为主进程没能发现子进程挂了而判定结束，从而卡在了这个地方，是python的一个bug。解决办法有两个，且看下文分解～
python multiprocessing 和 multiprocessing.dummy
qq_26055539的博客
03-11 666
今天用VSCODE2019调试python多进程，开始用的multiprocessing库，结果调试和执行都到得不到lock阻塞的地方死掉了，没有输出，调试也终止了。 把 from multiprocessing import Process, Lock, Semaphore换成了 from multiprocessing.dummy import Process, Lock, Semaphor...
multiprocessing.pool多线程的使用
qq_41663800的博客
08-18 804
from multiprocessing.pool import Pool GROUP_START = 0 GROUP_END = 9 if __name__ == '__main__': pool = Pool() groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)]) pool.map(mai...
Python - multiprocessing运行和停止进程
热门推荐
03-17 1万+
基本用法 本文介绍控制进程启停的操作, 只用到一个Process类 首先写一个保持运行的方法: def run_forever(): while 1: print(time.time()) time.sleep(2) 初始化一个Process实例, target为该实例运行时执行的方法. 通过调用Process类的start方法启动一个进程: from multiprocessing import Process p = Process(target=
python 进程的开启与关闭
weixin_66397563的博客
10-07 2597
进程开启与通过pid进行关闭进程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值