subprocess模块和.communicate()（学习更新中）

subprocess模块的作用

DESCRIPTION
This module allows you to spawn processes, connect to their
input/output/error pipes, and obtain their return codes.

允许创建一个新的进程让其执行另外的程序，并与它进行通信，获取标准的输入、标准输出、标准错误以及返回码等。
注意：使用这个模块之前要引入该模块。

Popen类

subprocess模块中定义了一个Popen类，通过它可以来创建进程，并与其进行复杂的交互。查看一下它的构造函数：

__init__(self, args, bufsize=0, executable= None,
         stdin=None, stdout=None, stderr=None, preexec_fn=None,
         close_fds=False, shell=False, cwd=None, env=None,
         universal_newlines=False, startupinfo=None,
         creationflags=0 )

主要参数说明：

args：args should be a string, or a sequence of program arguments.也就是说必须是一个字符串或者序列类型（如：字符串、list、元组），用于指定进程的可执行文件及其参数。如果是一个序列类型参数，则序列的第一个元素通常都必须是一个可执行文件的路径。当然也可以使用execteable参数来指定可执行文件的路径。

stdin,stdout,stderr：分别表示程序的标准输入、标准输出、标准错误。有效的值可以是PIPE，存在的文件描述符，存在的文件对象或None，如果为None需从父进程继承过来，stdout可以是PIPE，表示对子进程创建一个管道，stderr可以是STDOUT，表示标准错误数据应该从应用程序中捕获并作为标准输出流stdout的文件句柄。

shell：如果这个参数呗设置为True，程序将通过shell来执行。

env：它描述的是子进程的环境变量。如果None，子进程的环境变量将从父进程继承而来。

创建Popen类的实例对象

res = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)

cmd：标准像子进程传入需要执行的shell命令，如 ls -al

subprocess.PIPE：在创建Popen对象时，subprocess.PIPE可以初始化为stdin, stdout或stderr的参数，表示与子进程通信的标准输入流，标准输出流以及标准错误。

subprocess.STDOUT：作为Popen对象的stderr的参数，表示将标准错误通过标准输出流输出

以上内容来自该博客

---

使用subprocess模块的Popen调用外部程序，如果stdout或stderr参数是pipe，并且程序输出超过操作系统的pipe size时，如果使用Popen.wait()方式等待程序结束获取返回值，回导致死锁，程序卡在wait（）调用上。

例子：

import subprocess
 
def test(size):
    print 'start'
 
    cmd = 'dd if=/dev/urandom bs=1 count=%d 2>/dev/null' % size
    p = subprocess.Popen(args=cmd, shell=True, stdout=subprocess.PIPE,
        stderr=subprocess.STDOUT, close_fds=True)
    #p.communicate()
    p.wait()
 
    print 'end'
 
# 64KB
test(64 * 1024)
 
# 64KB + 1B
test(64 * 1024 + 1)

首先测试输出为 64KB 大小的情况。使用 dd 产生了正好 64KB 的标准输出，由 subprocess.Popen 调用，然后使用 wait() 等待 dd 调用结束。可以看到正确的 start 和 end 输出；然后测试比 64KB 多的情况，这种情况下只输出了 start，也就是说程序执行卡在了 p.wait() 上，程序死锁。具体输出如下：

start
end
start

那死锁问题如何避免呢？官方文档里推荐使用 Popen.communicate()。这个方法会把输出放在内存，而不是管道里，所以这时候上限就和内存大小有关了，一般不会有问题。而且如果要获得程序返回值，可以在调用 Popen.communicate() 之后取 Popen.returncode 的值。

结论：如果使用 subprocess.Popen，就不使用 Popen.wait()，而使用 Popen.communicate() 来等待外部程序执行结束。