Python 从 subprocess popen 运行的子进程中实时获取输出(shell 在 python 中执行)

7 篇文章 0 订阅
2 篇文章 0 订阅

需求

有时候需要把 shell 命令在 python 中执行,如果使用 os.system(cmd) 的方式的话,标准输出只会打印在屏幕上,没办法赋给变量,这时候就可以用 subprocess 来实现

实现

1. os.system(cmd)

In [60]: path = "/hdfs_path/.../"

In [61]: cmd = ' /opt/tiger/.../bin/hadoop fs -du -s -h {} '.format(path)
    ...: res = os.system(cmd)
    ...:
# 如下,输出只是打印在屏幕上,没办法用变量存起来
0  0  /hdfs_path/.../

In [62]: res  # 为 0 仅表示命令运行成功,与命令的标准输出无关
Out[62]: 0

2. subprocess

def du_hdfs_file(path):

    from subprocess import PIPE, Popen

    def cmdline(command):
        """获取标准输出"""
        process = Popen(
            args=command,
            stdout=PIPE,
            shell=True
        )
        return process.communicate()[0]

    cmd = ' /opt/tiger/.../bin/hadoop fs -du -s -h {} '.format(path)
    # res = os.system(cmd)
    res = cmdline(cmd)
    return res

######################################
In [65]: res = du_hdfs_file(path)  # 标准输出赋值给 res

In [66]: res
Out[66]: '0  0  /hdfs_path/.../\n'

In [67]: res[0]
Out[67]: '0'

3. os.popen(cmd).read() 【推荐】

除了第2种方法,还有更简单的方法,即 os.popen(cmd).read()

import os
cmd = "hadoop fs -du -h /hdfs/path1/20221122"

res = os.popen(cmd).read()

In [219]: res
Out[219]: '22.1 G  66.2 G  /hdfs/path1/20221122\n'

注意:这里有个坑,如果重复使用 read() / readlines() 的话,会变成空。所以应该 read() 一次,后面直接取用即可

########### 错误用法 ###########
res = os.popen("pwd")
# 第一次read正常
res.read()
Out[547]: '/home/dir1\n'

# 第二次read就变成空
res.read()
Out[548]: ''

########### 正确用法 ###########
# 最开始 read 一次即可
res = os.popen("pwd").read()
res
Out[549]: '/home/dir1\n'
res
Out[550]: '/home/dir1\n'

参考

  1. Assign output of os.system to a variable and prevent it from being displayed on the screen [duplicate]
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值