python 结束进程 terminate_【Python】multiprocessing.Process.terminate()结束子进程将导致子进程无法执行finally块,如何解决?...

我在使用multiprocessing库创建进程的时候,发现了这么一个问题:

https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.Process中对于terminate函数的文档中说:

Note that exit handlers and finally clauses, etc., will not be executed.

exit handlers我姑且理解为上下文管理器的__exit__函数(不知道对不对)。

当我在主进程中调用terminate()结束子进程,会导致子进程的资源无法释放掉。

我想知道,如何在主进程里优雅的结束子进程?

回答

在主进程里直接terminate子线程,是不推荐的做法,因为结束的时候不清楚子线程的运行状况,有很大可能性导致子线程在不恰当的时刻被结束。

在主进程里优雅的结束子进程,推荐的方法是,通过全局变量、互斥锁或信号量等进程间通信手段来达到。

例如,使用multiprocessing.Value对象,来传递信息。通知子线程:“辛苦了,你可以休息了”,然后让子线程自身决定退出的时刻,可以选择一个适当的时刻来结束任务。

下面的代码,在外部修改alive.value的值,子进程得知后,选择在没有sleep的时候退出。

from multiprocessing import Process, Value

import time

alive = Value('b', False)

def worker(alive):

while alive.value:

time.sleep(0.1)

print("running")

if __name__ == '__main__':

p = Process(target=worker, args=(alive,))

alive.value = True

p.start()

time.sleep(1)

alive.value = False

我提这个问题当时的需求是使用python调用外部的第三方程序,类似shell脚本一样。

如果是正常的多进程编程协作完成一个任务,那么上面答主提到的方式则是最佳方法,即使用IPC的方式使父进程传递给子进程结束的信息,然后子进程自己优雅的退出。

而如果使用python调用外部的第三方命令,将其作为类似shell脚本的方式使用,由于无法修改外部程序的代码,因此IPC的手段非常有限,仅仅限于向子进程发送信号。

那么该问题的思路就很清晰了,之前的问题是使用terminate()函数结束子进程导致了子进程无法正常释放资源(linux系统)。通过查询文档可知terminate()函数在linux系统下的行为是向进程发送SIGTERM。那么,问题的原因则是该第三方程序接收到SIGTERM信号后的处理逻辑有问题。

一般来说,命令行程序对SIGINT信号的考虑更完善,因为在终端使用时按Ctrl-C发送的就是SIGINT信号。因此,该问题后来的解决方案是:

p.process.signal(signal.SIGINT)

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值