使用subprocess子进程莫名死掉的问题

    最近使用subprocess发现有可能会出现子进程一直处于sleep状态的情况,尤其是多进程并发的时候更容易导致这个问题,查了一下python文档。发现一个note:This will deadlock when usingstdout=PIPE orstderr=PIPE and the child process generates enough output to a pipe such that it blocks waiting for the OS pipe buffer to accept more data. UsePopen.communicate() when using pipes to avoid that.

    原因是管道数据溢出导致的死锁,当我们使用PIPE时,要格外注意。python建议使用communicate()而不要使用stdin.write, stdout.read或者stderr.read。

    但是我遇到的问题还不太一样,我用Popen去调用curl下载一个文件的时候,下载程序sleep之后就不回来了,显然不是管道溢出问题。解决方法很简单就是用timeout去监视子程序的运行,python3.3之后subprocess提供了timeout方法。如果是Python2.x可以下载subprocess32 3.2.6 https://pypi.python.org/pypi/subprocess32/3.2.6

    等我找到原因再来更新吧,有没有高手可以指点一二呀,比如说是不是服务器不稳定,或curl本身有问题,现在的疑问是为什么下载程序是sleep了,而不是失败反回了。总之为了保证subprocess正常运行,监测子程序状态是必要的,加上timeout是个好习惯。

    原因很简单,就是curl下载应该加一个timeout,应该是由于网络问题引起的,curl在等待数据,而服务器已经不发送了。

 

 

阅读更多
文章标签: linux python subprocess
个人分类: python linux
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

使用subprocess子进程莫名死掉的问题

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭