subprocess模块功能与常见用法实例详解

1、简介

subprocess最早在2.4版本引入。用来生成子进程，并可以通过管道连接他们的输入/输出/错误，以及获得他们的返回值。

subprocess用来替换多个旧模块和函数：

• os.system

• os.spawn

• os.popen

• popen2.*

• commands.*

运行python的时候，我们都是在创建并运行一个进程，linux中一个进程可以fork一个子进程，并让这个子进程exec另外一个程序。在python中，我们通过标准库中的subprocess包来fork一个子进程，并且运行一个外部的程序。subprocess包中定义有数个创建子进程的函数，这些函数分别以不同的方式创建子进程，我们可以根据需要来从中选取一个使用。另外subprocess还提供了一些管理标准流(standard stream)和管道(pipe)的工具，从而在进程间使用文本通信。

2、旧有模块的使用

1.os.system()

执行操作系统的命令，将结果输出到屏幕，只返回命令执行状态(0：成功，非 0 ：失败)

 >>> import os
 >>> a =os.system("df -Th")
 文件系统       类型     容量 已用 可用 已用% 挂载点
 devtmpfs       devtmpfs 126G     0126G    0% /dev
 tmpfs         tmpfs     126G 313M 126G    1% /dev/shm
 tmpfs         tmpfs     126G 107M 126G    1% /run
 tmpfs         tmpfs     126G     0126G    0% /sys/fs/cgroup
 /dev/sda3     xfs       1.1T   57G  1.1T    6% /
 /dev/sda1     xfs       397M 202M 195M   51% /boot
 tmpfs         tmpfs     26G     0  26G    0% /run/user/0
 tmpfs         tmpfs     26G     0  26G    0% /run/user/1003
 >>> a
 0 #0表示执行成功
 >>> res =os.system("list")
 sh: list: 未找到命令
 >>> res
 32512 #非0表示执行错误

2. os.popen()

执行操作系统的命令，会将结果保存在内存当中，可以用read()方法读取出来

 >>> import os
 # 将结果保存到内存中
 >>> res =os.popen("ls -l")
 >>> print (res)
 <os._wrap_close object at 0x7f73a767f3c8>
 # 用read()读取内容
 >>> print (res.read())
 总用量 370984
 -rw-r--r--1root     root           46412月 2414:33 1.py
 -rw-r--r--1root     root           48012月 2414:44 2.py
 -rw-r--r--1root     root            8812月 2414:44 error.txt
 drwxr-xr-x 2smgadmin smgadmin      819212月 2415:26 hsperfdata_smgadmin
 -rw-r--r--1root     root     37985963012月 1617:01 新模型.zip

3、subprocess模块

1、subprocess.run()

 >>> import subprocess
 # python解析则传入命令的每个参数的列表
 >>> subprocess.run(["df","-h"])
 文件系统       容量 已用 可用 已用% 挂载点
 devtmpfs       126G     0126G    0% /dev
 tmpfs           126G 151M 126G    1% /dev/shm
 tmpfs           126G 107M 126G    1% /run
 tmpfs           126G     0126G    0% /sys/fs/cgroup
 /dev/sda3       1.1T   57G  1.1T    6% /
 /dev/sda1       397M 202M 195M   51% /boot
 tmpfs           26G     0  26G    0% /run/user/0
 tmpfs           26G     0  26G    0% /run/user/1003
 CompletedProcess(args=['df', '-h'], returncode=0)
 # 需要交给Linux shell自己解析，则:传入命令字符串，shell=True
 >>> subprocess.run("df -h|grep /dev/sda1",shell=True)
 /dev/sda1       397M 202M 195M   51% /boot
 CompletedProcess(args='df -h|grep /dev/sda1', returncode=0)

2、subprocess.call()

执行命令，返回命令的结果和执行状态，0或者非0

 >>> res =subprocess.call(["ls","-l"])
 总用量 370984
 -rw-r--r--1root     root           46412月 2414:33 1.py
 -rw-r--r--1root     root           48012月 2414:44 2.py
 -rw-r--r--1root     root            8812月 2414:44 error.txt
 drwxr-xr-x 2smgadmin smgadmin      819212月 2415:26 hsperfdata_smgadmin
 -rw-r--r--1root     root     37985963012月 1617:01 新模型.zip
 # 命令执行状态
 >>> res
 0

3、subprocess.check_call()

执行命令，返回结果和状态，正常为0 ，执行错误则抛出异常

 >>> subprocess.check_call(["ls","-l"])
 总用量 370984
 -rw-r--r--1root     root           46412月 2414:33 1.py
 -rw-r--r--1root     root           48012月 2414:44 2.py
 -rw-r--r--1root     root            8812月 2414:44 error.txt
 drwxr-xr-x 2smgadmin smgadmin      819212月 2415:26 hsperfdata_smgadmin
 -rw-r--r--1root     root     37985963012月 1617:01 新模型.zip
 0
 >>> subprocess.check_call(["lm","-l"])
 Traceback (most recent call last):
 File "<stdin>", line 1, in<module>
 File "/usr/lib64/python3.6/subprocess.py", line 306, incheck_call
   retcode =call(*popenargs, **kwargs)
 File "/usr/lib64/python3.6/subprocess.py", line 287, incall
   with Popen(*popenargs, **kwargs) as p:
 File "/usr/lib64/python3.6/subprocess.py", line 729, in__init__
   restore_signals, start_new_session)
 File "/usr/lib64/python3.6/subprocess.py", line 1364, in_execute_child
   raise child_exception_type(errno_num, err_msg, err_filename)
 FileNotFoundError: [Errno 2] No such file or directory: 'lm': 'lm'

4、subprocess.getstatusoutput()

接受字符串形式的命令，返回 一个元组形式的结果，第一个元素是命令执行状态，第二个为执行结果

 #执行正确
 >>> subprocess.getstatusoutput('pwd')
 (0, '/tmp')
 #执行错误
 >>> subprocess.getstatusoutput('pd')
 (127, '/bin/sh: pd: 未找到命令')

5、subprocess.getoutput()

接受字符串形式的命令，查看执行结果

 >>> subprocess.getoutput('pwd')
 '/tmp'

6、subprocess.check_output()

执行命令，返回执行的结果，而不是打印

 >>> res =subprocess.check_output("pwd")
 >>> res
 b'/tmp\n' # 结果以字节形式返回

4、subprocess.Popen()

其实以上subprocess使用的方法，都是对subprocess.Popen的封装，下面我们就来看看这个Popen方法。

1、stdout

标准输出

 >>> res =subprocess.Popen("ls /tmp/", shell=True, stdout=subprocess.PIPE)
 >>> res.stdout.read()  # 标准输出
 b'1.py\n2.py\nerror.txt\nhsperfdata_smgadmin\n\xe6\x96\xb0\xe6\xa8\xa1\xe5\x9e\x8b.zip\n'
 >>> res.stdout.close()  # 关闭

2、stderr

标准错误

 >>> import subprocess
 >>> res =subprocess.Popen("lm -l",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
 # 标准输出为空
 >>> res.stdout.read()
 b''
 #标准错误中有错误信息
 >>> res.stderr.read()
 b'/bin/sh: lm: \xe6\x9c\xaa\xe6\x89\xbe\xe5\x88\xb0\xe5\x91\xbd\xe4\xbb\xa4\n'

注意：上面的提到的标准输出都为啥都需要等于subprocess.PIPE,这个又是啥呢？原来这个是一个管道，这个需要画一个图来解释一下：

3、poll()

定时检查命令有没有执行完毕，执行完毕后返回执行结果的状态，没有执行完毕返回None

 >>> res =subprocess.Popen("sleep 10;echo 'hello'",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
 >>> print(res.poll())
 None
 >>> print(res.poll())
 None
 >>> print(res.poll())
 0

4、wait()

等待命令执行完成，并且返回结果状态

 >>> obj =subprocess.Popen("sleep 10;echo 'hello'",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
 # 中间会一直等待
 >>> obj.wait()
 0

5、terminate()

结束进程

 >>> import subprocess
 >>> res =subprocess.Popen("sleep 20;echo 'hello'",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
 >>> res.terminate()
 >>> res.stdout.read()
 b''

6、pid

获取当前执行子shell的程序的进程号

 >>> import subprocess
 >>> res =subprocess.Popen("sleep 5;echo 'hello'",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
 >>> res.pid  # 获取这个linux shell 的 进程号
 59858

5、总结

python的爬虫相关模块有很多，本人能力有限，如果文章有任何错误欢迎不吝赐教，其次如果大家有任何关于python爬虫的疑难杂问，也欢迎和大家一起交流讨论。

关于运维学习、分享、交流，笔者开通了微信公众号【运维猫】，感兴趣的朋友可以关注下，欢迎加入，建立属于我们自己的小圈子，一起学运维知识。

扫描二维码

获取更多精彩

运维猫公众号

有需要技术交流的小伙伴可以加我微信，期待与大家共同成长，本人微信：

扫描二维码

添加私人微信

运维猫博主

扫码加微信

最近有一些星友咨询我知识星球的事，我也想继续在星球上发布更优质的内容供大家学习和探讨。运维猫公众号平台致力于为大家提供免费的学习资源，知识星球主要致力于即将入坑或者已经入坑的运维行业的小伙伴。

点击阅读原文  查看更多精彩内容！！！