使用subprocess子进程莫名死掉的问题

最新推荐文章于 2024-01-18 19:27:34 发布
最新推荐文章于 2024-01-18 19:27:34 发布
阅读量2.2k 收藏
点赞数
分类专栏： python linux 文章标签： linux python subprocess
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gbwllx/article/details/38845589
版权
在使用Python的subprocess模块调用curl进行文件下载时，发现子进程可能会陷入sleep状态。这并非由于管道数据溢出导致的死锁，而是curl在等待网络数据时超时。解决方案是在curl命令中添加timeout选项，或者在Python 3.3及以上版本中利用subprocess的timeout特性来监控子进程。对于Python 2.x，可以使用subprocess32库。确保监控子进程状态并设置合适的超时值，能有效避免类似问题。
摘要由CSDN通过智能技术生成

    最近使用subprocess发现有可能会出现子进程一直处于sleep状态的情况，尤其是多进程并发的时候更容易导致这个问题，查了一下python文档。发现一个note：This will deadlock when usingstdout=PIPE orstderr=PIPE and the child process generates enough output to a pipe such that it blocks waiting for the OS pipe buffer to accept more data. UsePopen.communicate() when using pipes to avoid that.

    原因是管道数据溢出导致的死锁，当我们使用PIPE时，要格外注意。python建议使用communicate()而不要使用stdin.write, stdout.read或者stderr.read。

    但是我遇到的问题还不太一样，我用Popen去调用curl下载一个文件的时候，下载程序sleep之后就不回来了，显然不是管道溢出问题。解决方法

最低0.47元/天 解锁文章
gbwllx
关注
专栏目录
Java多态--编译时行为还是运行时行为？
在云端
09-21 1226
多态是编译时行为还是运行时行为？ 是运行时行为！
python subprocess.Popen 挂起
最新发布
wangbadan121的专栏
07-30 308
在这个测试用例中，我们创建了一个子进程，其中包含一个无限期地循环读取输入的bash脚本。然后，我们设置了一个超时时间来限制`communicate()`方法的执行时间。当使用`subprocess.Popen`时遇到程序挂起的问题，通常是因为进程被阻塞或等待外部输入，例如通过标准输入（stdin）。2. 如果存在循环读取输入或写输出的代码，确保在退出循环前正确关闭`stdin`和`stdout`。# 创建一个subprocess.Popen对象，并设置shell=True以允许执行的外部命令。
python 实践 | 使用subprocess，与子进程交互，卡死，直到子进程dump掉
Brasy的博客
07-09 2513
python基本语法，早就熟悉了。可是没有实践，语法就只是语法，并不能真正的掌握这个语言。有空就写一写。 **svn统计工具的python版本** 最为第一个实践吧 问题1：subprocess创建进程和交互，使用communicate，与子进程交互，卡死，直到子进程dump掉？ cmd = "svn info --no-auth-cache --non-interactive --username='%s' --password='%s' %s" %(name,pwd,url) p = subpr
Python:关于subprocess.stdout.read()导致程序死锁的问题
weixin_34293911的博客
11-17 1912
subprocess.stdout.read()导致程序死锁的问题解决 今天有位老哥联系我说，在我的python之路系列中，解决粘包问题那一章的代码有BUG 这里当运行命令过于庞大的时候，会导致程序直接卡死在这里，我自己试试了下，确实有这个问题。 但是到底是为什么呢，前前后后想了好久，没找到答案，后来google了半天以及翻了下官方文档 终于找到了问题所在！！！划重点 如果设置了st...
Python subprocess.run 执行ffmpeg卡主无响应
wangjinyu124419的博客
05-12 1161
跟requests库一样，加一个timeout参数即可，超时自动报错。 subprocess.run(command,timeout=60)
Debug 一个在 uWSGI 下使用 subprocess 卡住的问题
云原生实验室
10-27 786
今天花了很长的时间在排查一个诡异的问题，值得记录一下。本来是想写一个 HTTP 的服务，你告诉这个 HTTP 服务一个 IP 地址和端口，这个 HTTP 服务就可以返回通过 TCP 访问这...
python subprocess 杀掉全部派生的子进程方法
09-21
### Python Subprocess 杀掉全部派生的子进程方法 #### 概述 在Python编程中，使用`subprocess`模块来执行外部命令或程序是非常常见的需求。然而，在某些场景下，我们需要能够有效地终止这些子进程及其所有派生的...
对Python subprocess.Popen子进程管道阻塞详解
12-25
使用子进程处理一个大的日志文件，并对文件进行分析查询，需要等待子进程执行的输出结果，进行下一步处理。 出问题的代码 # 启用子进程执行外部shell命令 def __subprocess(self,cmd): try: # 执行外部shell命令...
subprocess的死锁情况分析
qq_33626066的博客
01-18 918
经常有这样的一些需求，需要在linux系统后台调用命令获取特定的输出。subprocess就是这样一个专门用作执行shell命令的模块。笔者在工作中经常需要用到这个模块，遇到了一些问题，在此和大家讨论一下。以上就是今天要讲的内容，本文分析了产生死锁的两个原因：分别是管道大小限制和异步机制。本次问题就是异步导致的死锁。
subprocess子进程的杀死
路漫漫其修远兮
08-04 1465
业务中，python代码需要调用C++程序，获取C++程序执行结果。
python subprocess popen 无法打开_Python调用subprocess.Popen卡死的解决方案
weixin_31971727的博客
02-19 970
转载自：https://www.cnblogs.com/keke-xiaoxiami/p/7875009.html在Python中，调用：subprocess.Popen(cmd, stdout = PIPE, stderr = PIPE, shell= true)的时候，如果调用的shell命令本身在执行之后会突然出现很多输出，则这个时候可能会导致hang在那里，表现就是卡死了，程序也不往下走，...
java ffmpeg 卡住,Java操作ffmpeg遇到卡死问题
weixin_34040270的博客
03-09 2155
问题描述使用Procees+Runtime操作ffmpeg时，执行比较大的文件操作会卡死，但cmd打开ffmpeg能正常执行问题原因因为waitfor()操作时wait但没有指定时间，导致jvm缓冲流满了，卡死处理/*** 处理process输出流和错误流，防止进程阻塞* 在process.waitFor();前调用* @param process*/private static void dea...
subprocess模块communicate接口卡死问题记录
weixin_43571552的博客
05-13 997
记录一次使用python调用ffmpeg时communicate卡住的情况及解决办法
PyQt调用ffmpeg后线程卡死解决方案（一）
桜
06-05 1046
#-*- coding:utf-8 -*- #******************************************************************* #******************************************************************* #*************************导入模块*********************************** #*****************************
Python2.7下，调用subprocess启动子进程，读取子进程标准输出若干问题
weixin_30762087的博客
12-19 690
1：如果调用的子进程也是一个python脚本，则subprocess.Popen中的bufsize=1无效果。也就是说，即使设置了bufsize=1表示进行行缓冲，子进程如果不显示调用sys.stdout.flush，父进程依然会阻塞在readline上： #testbuf.py import subprocess cmd = "./testsub.sh" cmd2 = ["py...
subprocess执行命令,超时判断,数据量大被截断问题，进程中断。
weixin_44602651的博客
04-28 1067
import subprocess import time def get_cmd_data_from_node(cmd, node=None, timeout=5): t_beginning = int(time.time()) try: if node: ret = subprocess.Popen("ssh " + node + " " + cmd, shell=True, close_fds=True,
subprocess控制子进程
asl_12138的博客
11-20 1499
subprocess.Popen() 和os.systerm() 类似，是调用子进程执行程序 subprocess. Popen ( args , bufsize=0 , executable=None , stdin=None , stdout=None , stderr=None , preexec_fn=None , close_fds=False , shell=False , cw...
windows下python subprocess.call使用ffmpeg的问题记录
__似水流年__的博客
07-17 2769
最近在尝试别人代码时遇到了一些问题，经过查找资料算是解决了，在此记录一下。 有这么一段代码是将视频转换成图片，代码具体如下： call([ 'ffmpeg', '-nostats', '-i', videopath, '-qscale:v', '3', fileformat ]) 不过在运行的时候总是报FileNotFoundError: [WinError 2] 系统找不到指定的文件的错误。 看到网上有的在报这种错误的时候加上参数'cm..
subprocess等待子进程结束
06-02
你可以使用 `subprocess.wait()` 方法等待子进程结束。这个方法会阻塞父进程，直到子进程结束并返回状态码。你可以将这个方法调用放在创建子进程的代码后面，这样可以确保子进程执行完毕后再继续执行父进程的代码。另外，如果你想在子进程结束后获取它的输出，可以使用 `subprocess.communicate()` 方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值