python3编程基础：多进程（四）subprocess模块

subprocess模块

使用subprocess这个模块来产生子进程，并连接到子进程的标准输入/输出/错误中去，还可以得到子进程的返回值。官方的解释：

This module allows you to spawn processes, connect to their input/output/error pipes, and obtain their return codes.

即允许你去创建一个新的进程让其执行另外的程序，并与它进行通信，获取标准的输入、标准输出、标准错误以及返回码等。另外subprocess还提供了一些管理标准流(standard stream)和管道(pipe)的工具，从而在进程间使用文本通信。

subprocess模块中的常用函数

说明：
1.在Python 3.5之后的版本中，官方文档中提倡通过subprocess.run()函数替代其他函数来使用subproccess模块的功能；
2.在Python 3.5之前的版本中，我们可以通过subprocess.call()，subprocess.getoutput()等上面列出的其他函数来使用subprocess模块的功能；
3.subprocess.run()、subprocess.call()、subprocess.check_call()和subprocess.check_output()都是通过对subprocess.Popen的封装来实现的高级函数，因此如果我们需要更复杂功能时，可以通过subprocess.Popen来完成。
4.subprocess.getoutput()和subprocess.getstatusoutput()函数是来自Python 2.x的commands模块的两个遗留函数。它们隐式的调用系统shell，并且不保证其他函数所具有的安全性和异常处理的一致性。另外，它们从Python 3.3.4开始才支持Windows平台。

上面各函数的定义及参数说明

函数参数列表：
subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, shell=False, timeout=None, check=False, universal_newlines=False)

subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)

subprocess.getstatusoutput(cmd)

subprocess.getoutput(cmd)

参数说明：

• args： 要执行的shell命令，默认应该是一个字符串序列，如[‘df’, ‘-Th’]或(‘df’, ‘-Th’)，也可以是一个字符串，如’df -Th’，但是此时需要把shell参数的值置为True。
• shell： 如果shell为True，那么指定的命令将通过shell执行。如果我们需要访问某些shell的特性，如管道、文件名通配符、环境变量扩展功能，这将是非常有用的。当然，python本身也提供了许多类似shell的特性的实现，如glob、fnmatch、os.walk()、os.path.expandvars()、os.expanduser()和shutil等。
• check： 如果check参数的值是True，且执行命令的进程以非0状态码退出，则会抛出一个CalledProcessError的异常，且该异常对象会包含 参数、退出状态码、以及stdout和stderr(如果它们有被捕获的话)。
• stdout, stderr：
  run()函数默认不会捕获命令执行结果的正常输出和错误输出，如果我们想获取这些内容需要传递subprocess.PIPE，然后可以通过返回的CompletedProcess类实例的stdout和stderr属性或捕获相应的内容；
  call()和check_call()函数返回的是命令执行的状态码；
  check_output()函数默认就会返回命令执行结果，所以不用设置stdout的值，如果希望在结果中捕获错误信息，可以执行stderr=subprocess.STDOUT
• input： 该参数是传递给Popen.communicate()，通常该参数的值必须是一个字节序列，如果universal_newlines=True，则其值应该是一个字符串。
• universal_newlines： 该参数影响的是输入与输出的数据格式，比如它的值默认为False，此时stdout和stderr的输出是字节序列；当该参数的值设置为True时，stdout和stderr的输出是字符串。

subprocess.Popen类

该类用于在一个新的进程中执行一个子程序。前面我们提到过，上面介绍的这些函数都是基于subprocess.Popen类实现的，通过使用这些被封装后的高级函数可以很方面的完成一些常见的需求。由于subprocess模块底层的进程创建和管理是由Popen类来处理的，因此，当我们无法通过上面哪些高级函数来实现一些不太常见的功能时就可以通过subprocess.Popen类提供的灵活的api来完成。
subprocess.Popen的构造函数

init(self, args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None,preexec_fn=None,close_fds=,shell=False,cwd=None,env=None,universal_newlines=False,startupinfo=None,creationflags=0,restore_signals=True,start_new_session=False, pass_fds=(), *, encoding=None, errors=None)

参数说明：

• args： 要执行的shell命令，可以是字符串，也可以是命令各个参数组成的序列。当该参数的值是一个字符串时，该命令的解释过程是与平台相关的，因此通常建议将args参数作为一个序列传递。
• bufsize： 指定缓存策略，0表示不缓冲，1表示行缓冲，其他大于1的数字表示缓冲区大小，负数 表示使用系统默认缓冲策略。
• stdin, stdout, stderr： 分别表示程序标准输入、输出、错误句柄。
• preexec_fn： 用于指定一个将在子进程运行之前被调用的可执行对象，只在Unix平台下有效。
• close_fds： 如果该参数的值为True，则除了0,1和2之外的所有文件描述符都将会在子进程执行之前被关闭。
• shell： 该参数用于标识是否使用shell作为要执行的程序，如果shell值为True，则建议将args参数作为一个字符串传递而不要作为一个序列传递。
• cwd： 如果该参数值不是None，则该函数将会在执行这个子进程之前改变当前工作目录。
• env： 用于指定子进程的环境变量，如果env=None，那么子进程的环境变量将从父进程中继承。如果env!=None，它的值必须是一个映射对象
• universal_newlines： 如果该参数值为True，则该文件对象的stdin，stdout和stderr将会作为文本流被打开，否则他们将会被作为二进制流被打开。
• startupinfo和creationflags： 这两个参数只在Windows下有效，它们将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如主窗口的外观，进程优先级等。
  subprocess.Popen类的实例可调用的方法
  
  关于communicate()方法的说明：
• 该方法中的可选参数 input 应该是将被发送给子进程的数据，或者如没有数据发送给子进程，该参数应该是None。input参数的数据类型必须是字节串，如果universal_newlines参数值为True，则input参数的数据类型必须是字符串
• 该方法返回一个元组(stdout_data, stderr_data)，这些数据将会是字节串或字符串（如果universal_newlines的值为True）。
• 如果在timeout指定的秒数后该进程还没有结束，将会抛出一个TimeoutExpired异常。捕获这个异常，然后重新尝试通信不会丢失任何输出的数据。但是超时之后子进程并没有被杀死，为了合理的清除相应的内容，一个好的应用应该手动杀死这个子进程来结束通信。
• 需要注意的是，这里读取的数据是缓冲在内存中的，所以，如果数据大小非常大或者是无限的，就不应该使用这个方法。

代码示例1：创建目录

import subprocess
a = subprocess.Popen(‘mkdir subprocesstest’,shell=True,cwd=‘f:\’)
cmd：向子进程传入需要执行的shell命令，如：ls –al
subprocess.PIPE：在创建Popen对象时，subprocess.PIPE可以初始化为stdin, stdout或stderr的参数，表示与子进程通信的标准输入流，标准输出流以及标准错误，将多个子进程的输入和输出连接在一起，构成管道(pipe)。
管道：前面的数据通过管道传递给后面数据（全部）
相当于临时缓存，可以存储一个程序的结果，然后另一个程序去管道获取结果

subprocess.STDOUT：作为Popen对象的stderr的参数，表示将标准错误通过标准输出流输出。

代码示例2：cun/call

window下执行:

subprocess.run(args=['dir','孔素红'],shell=True,cwd="f:\\")

linux下执行:

python3
import subprocess
subprocess.run(args=['ls','-al'])
subprocess.call("ls -l",shell=True,cwd="/home")
subprocess.run("ls -l",shell=True,cwd="/home")

代码示例3：使用python执行几个命令

import subprocess

obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, 
stdout=subprocess.PIPE, stderr=subprocess.PIPE)
a = 1
obj.stdin.write(b"print(%s);"%str(a).encode('utf-8'))#注意输入的是字节类型
obj.stdin.write(b"print(2);")
obj.stdin.write(b"print(3);")
obj.stdin.write(b"print(4);")
obj.stdin.close()

cmd_out = obj.stdout.read()
obj.stdout.close()

cmd_error = obj.stderr.read()
obj.stderr.close()

print(cmd_out)
print(cmd_error)

代码示例4：示例2的另一种写法

import subprocess

obj = subprocess.Popen(["python"], stdin=subprocess.PIPE,
 stdout=subprocess.PIPE, stderr=subprocess.PIPE)
obj.stdin.write(b"print(1)\n")
obj.stdin.write(b"print(2)\n")
obj.stdin.write(b"print(3)\n")
obj.stdin.write(b"print(4)\n")

#返回的是元组
out_info,out_error = obj.communicate()
print(out_info,out_error)

代码示例5：将一个子进程的输出，作为另一个子进程的输入（linux下执行）

import subprocess
child1 = subprocess.Popen(["cat","/home/wxh/a.py"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["wc","-l"],stdin=child1.stdout,stdout=subprocess.PIPE)
#一个是标准输出的内容，一个是标准错误的内容
out = child2.communicate()
print(out)

代码示例6：’’‘Subprocess进程通信实例’’’

import subprocess
import os
class Shell(object) :
  def runCmd(self, cmd) :
    res = subprocess.Popen(cmd, shell=True, 
stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
    # 获取子进程的标准输出，标准错误信息
    sout, serr = res.communicate() 
    #sout：执行命令后的输出内容,serr出错内容,res.pid为进程编号
    return res.returncode, sout, serr, res.pid 

shell = Shell()
fp = open('ip.txt', 'r',encoding="utf-8")
ipList = fp.readlines()
fp.close()
fp = open('ping.txt', 'a',encoding="utf-8")
print(ipList)
for i in ipList :
  i = i.strip()
  result = shell.runCmd('ping ' + i)
  if result[0] == 0 :
    w = i + ' : 0'
    fp.write(w + '\n')
  else :
    w = i + ' : 1'
    fp.write(w + '\n')
  #print( result[1].decode("gbk"))
fp.close()

参考连接：

http://www.cnblogs.com/yyds/p/7288916.html