转-杀掉subprocess全部派生的子进程

为什么80%的码农都做不了架构师？>>>   

175 [VMC] 移除存储时，没有在使用过该存储的主机上umount该存储 功能 必现 中 主机上会出现无效mount点 如果有时间，需要解决
177 [VMC] Portal上挂载的任意一个存储出现异常，会导致所有使用过该存储的主机失去响应 可靠性 条件概率 中 存储异常导致挂载该存储的主机一些如df，ls等命令长时间无返回 如果有时间，需要解决
167 主机重启，虚拟机启动失败。 功能 必现 高 主机重启后，存储挂载失败 如果有时间，需要解决。

From: http://biancheng.dnbcw.info/python/372233.html
发布系统需要响应用户的中断请求，需要在GET方法中杀掉由subprocess派生的子进程，刚开始直接用os.kill 发现子进程的子进程无法kill，谷歌了一些，发现kill可以干掉进程组，于是测试，但是默认情况下，subprocess派生的进程组和主程序，也就是我的web.py进程是在一个进程组里的，这要是kill了，那就调的了。
继续翻google，看subprocess的document时发现这个变量：
subprocess.CREATE_NEW_PROCESS_GROUP
A Popen creationflags parameter to specify that a new process group will be created. This flag is necessary for using os.kill() on the subprocess.
This flag is ignored if CREATE_NEW_CONSOLE is specified.
比较高兴，以为能解决问题了，结果测试半天，才了解这玩意是only windows的，我去啊，不过想到了，win能做到的，linux肯定也可以，于是定位到preexec_fn
又是一通google，不是对象吗，弄了个setpgid(0,0) 测试了，子进程还是和主调进程属于同一个进程组，后来灵机一动： preexec_fn = os.setpgrp
这样竟然解决了新生成进程组的问题。
继续努力，后面遇到的就是僵死进程的问题了，os.waitpid了一下就解决了。
刚开始waitpid的时候，还在linxu上man了半天，看着linxu手册里的参数，还是不放心啊，结果python里的os.waitpid竟然没有那么多参数，而且没有返回值，简陋啊。不过正解决了我的问题。

下面是今天的完全测试代码。
$ cat sub-process.py
import subprocess
import os
import time

def my_func():
    #派生两个子进程，子进程里又派生几个sleep的孙子进程，主要是为了测试kill进程组。
    run_str2 = '/bin/sh test.sh'
    run_str = '/bin/sh test_quick.sh'
    cmd2 = run_str.split()
    cmd = run_str.split()
    #测试了一些个preexec_fn的值，最终发现能用的，对python的对象的概念还是不理解啊，新手，新手。
    #p = subprocess.Popen(cmd, stdin = subprocess.PIPE, stdout = subprocess.PIPE,
         stderr = subprocess.PIPE, shell = False, creationflags = subprocess.CREATE_NEW_PROCESS_GROUP)
    #p = subprocess.Popen(cmd, stdin = subprocess.PIPE, stdout = subprocess.PIPE,
         stderr = subprocess.PIPE, shell = False, creationflags = 0)
    p = subprocess.Popen(cmd, stdin = subprocess.PIPE, stdout = subprocess.PIPE,
         stderr = subprocess.PIPE, shell = False, preexec_fn = os.setpgrp )
    p2 = subprocess.Popen(cmd2, stdin = subprocess.PIPE, stdout = subprocess.PIPE,
         stderr = subprocess.PIPE, shell = False, preexec_fn = os.setpgrp )
    #p = subprocess.Popen(cmd, stdin = subprocess.PIPE, stdout = subprocess.PIPE,
         stderr = subprocess.PIPE, shell = False, preexec_fn = os.setpgid(0, 0) )

    pid = p.pid
    pgid = os.getpgid(pid)
    print "pid: %d\n" %pid
    print "pgid: %d\n" %pgid
    return pid

pid = my_func()
#p.wait()
print "now , sleep 2s ,then , os.kill gpid %d" % pid
time.sleep(20)

a = os.kill(-pid, 9)

#Negative PID values may be used to choose whole process groups; A PID of -1 is special; it indicates all processes except the kill process itself and init.

print "kill,return:"
print a

# kill的时候，我测试了kill 没有权限的root进程，会报错：权限不允许
# 测试了kill p p2 都可以kill
#a = os.kill(2445, 9)
#print "kill root process 2445 ,return:"
#print a
#p.wait()
#os.waitpid(pgid, 0)
# 2445 is a root process
#os.waitpid(2445, 0)
#os.waitpid(p2.pid, 0)
os.waitpid(pid, 0)
print "waitpid,return:"
print a
time.sleep(22)

print "done..."

#p.terminate()
#p.kill()
#p.wait()
#
#time.sleep(40)
#os.kill(pid, 9)

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

def exe_timeout_command(command, timeout):
    try:
        import subprocess, datetime, os, signal, time
        p = subprocess.Popen(command, shell = True,
            stdout = subprocess.PIPE, stderr = subprocess.PIPE, preexec_fn = os.setpgrp)
        t0 = datetime.datetime.now()
        while p.poll() is None:
            if (datetime.datetime.now() - t0).seconds < timeout: continue
            else:
                os.kill(-p.pid, signal.SIGKILL)
                os.waitpid(-1, os.WNOHANG)
                return None
        return p.stdout.readlines()
    except Exception, e:
        print("Error in exe_timeout_command(%s): %s" % (command, e.message))
        return None

exe_timeout_command("find /usr/local/ivcs-data/vmc/nfsmount -type l -exec ls -l {} \;",1)

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

转载于:https://my.oschina.net/kuafu/blog/42543