Python基础-多进程

进程

Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。
子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的ID。
Python的os模块封装了常见的系统调用，其中就包括fork，可以在Python程序中轻松创建子进程：

import os

print('process %s start' % os.getpid())

pid = os.fork()

if pid == 0:
    print('child process %s and parent is %s' % (os.getpid(), os.getppid()))
else:
    print('my process %s and child is %s' % (os.getpid(), pid))

#运行结果
process 4820 start
child process 5040 and parent is 4820
my process 4820 and child is 5040

但是注意windows下没有fork函数，可以通过以下方式实现：

import os
from multiprocessing import Process

#子进程需要执行的代码
def process_run(name):
    print('子进程 %s, ID是 %s, 父进程是 %s' % (name, os.getpid(), os.getppid()))


if __name__=='__main__':

    print('当前主进程ID %s' % os.getpid())

    #创建Process实例 并传入需要执行进程的函数和参数
    p = Process(target=process_run, args=('test',))
    p.start()
    p.join() #进程同步  等待进程执行完成
    print('子线程执行完毕  返回主线程 %s ' % os.getpid())

#打印结果
当前主进程ID 2208
子进程 test, ID是 5248, 父进程是 2208
子线程执行完毕  返回主线程 2208 

多进程

如果需要启动大量子进程，可以使用进程池方式产生子进程：

from multiprocessing import Pool
import os,time,random

def process_task(name):
    print('task %s by id %s ' % (name, os.getpid()))

    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()

    print('task %s run time : %0.2f' % (name, (end - start)))

if __name__=='__main__':
    print('Process %s' % os.getpid())

    p = Pool(4)
    [p.apply_async(process_task, args=(i,)) for i in range(1, 6)]

    print('waiting for all subprocess done')
    p.close()
    p.join()
    print('all subprocess done')

#打印结果
Process 1272
waiting for all subprocess done
task 1 by id 5832 
task 2 by id 6116 
task 3 by id 4572 
task 4 by id 3912 
task 2 run time : 2.59
task 5 by id 6116 
task 4 run time : 2.69
task 1 run time : 2.88
task 3 run time : 2.87
task 5 run time : 0.90
all subprocess done

对Pool对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()，调用close()之后就不能继续添加新的Process了。
请注意输出的结果，task 1，2，3，4是立刻执行的，而task 5要等待前面某个task完成后才执行，最多同时执行4个进程。
由于Pool的默认大小是CPU的核数。

子进程

python中使用subprocess开启一个子进程，下面是一个很简单的例子，创建一个新进程，执行test_app.exe，传入适当参数，并显示出来：

import subprocess

returncode = subprocess.call(r'E:\test\test_app.exe -a -b -c -d ')
print('returncode %s' % returncode)

启动的test_app.exe是一个qt的界面程序，简单显示传入的参数。

下面简单介绍一下subclass

subclass

参考文章：
http://python.jobbole.com/81517/

subprocess模块中只定义了一个类: Popen。可以使用Popen来创建进程，并与进程进行复杂的交互。

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

参数args可以是字符串或者序列类型（如：list，元组），用于指定进程的可执行文件及其参数。如果是序列类型，第一个元素通常是可执行文件的路径。我们也可以显式的使用executeable参数来指定可执行文件的路径。在windows操作系统上，Popen通过调用CreateProcess()来创建子进程,CreateProcess接收一个字符串参数，如果args是序列类型，系统将会通过list2cmdline()函数将序列类型转换为字符串。

参数bufsize：指定缓冲。我到现在还不清楚这个参数的具体含义，望各个大牛指点。

参数executable用于指定可执行程序。一般情况下我们通过args参数来设置所要运行的程序。如果将参数shell设为True，executable将指定程序使用的shell。在windows平台下，默认的shell由COMSPEC环境变量来指定。

参数stdin, stdout, stderr分别表示程序的标准输入、输出、错误句柄。他们可以是PIPE，文件描述符或文件对象，也可以设置为None，表示从父进程继承。

参数preexec_fn只在Unix平台下有效，用于指定一个可执行对象（callable object），它将在子进程运行之前被调用。

参数Close_sfs：在windows平台下，如果close_fds被设置为True，则新创建的子进程将不会继承父进程的输入、输出、错误管道。我们不能将close_fds设置为True同时重定向子进程的标准输入、输出与错误(stdin, stdout, stderr)。

如果参数shell设为true，程序将通过shell来执行。

参数cwd用于设置子进程的当前目录。

参数env是字典类型，用于指定子进程的环境变量。如果env = None，子进程的环境变量将从父进程中继承。

参数Universal_newlines:不同操作系统下，文本的换行符是不一样的。如：windows下用’/r/n’表示换，而Linux下用’/n’。如果将此参数设置为True，Python统一把这些换行符当作’/n’来处理。

参数startupinfo与createionflags只在windows下用效，它们将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如：主窗口的外观，进程的优先级等等。

subprocess.PIPE

在创建Popen对象时，subprocess.PIPE可以初始化stdin, stdout或stderr参数。表示与子进程通信的标准流。

subprocess.STDOUT

创建Popen对象时，用于初始化stderr参数，表示将错误通过标准输出流输出。

Popen的方法：

Popen.poll()

用于检查子进程是否已经结束。设置并返回returncode属性。

Popen.wait()

等待子进程结束。设置并返回returncode属性。

Popen.communicate(input=None)

与子进程进行交互。向stdin发送数据，或从stdout和stderr中读取数据。可选参数input指定发送到子进程的参数。Communicate()返回一个元组：(stdoutdata, stderrdata)。注意：如果希望通过进程的stdin向其发送数据，在创建Popen对象的时候，参数stdin必须被设置为PIPE。同样，如果希望从stdout和stderr获取数据，必须将stdout和stderr设置为PIPE。

Popen.send_signal(signal)

向子进程发送信号。

Popen.terminate()

停止(stop)子进程。在windows平台下，该方法将调用Windows API TerminateProcess（）来结束子进程。

Popen.kill()

杀死子进程。

Popen.stdin

如果在创建Popen对象是，参数stdin被设置为PIPE，Popen.stdin将返回一个文件对象用于策子进程发送指令。否则返回None。

Popen.stdout

如果在创建Popen对象是，参数stdout被设置为PIPE，Popen.stdout将返回一个文件对象用于策子进程发送指令。否则返回None。

Popen.stderr

如果在创建Popen对象是，参数stdout被设置为PIPE，Popen.stdout将返回一个文件对象用于策子进程发送指令。否则返回None。

Popen.pid

获取子进程的进程ID。

Popen.returncode

获取进程的返回值。如果进程还没有结束，返回None。

supprocess模块提供了一些函数，方便我们用于创建进程。

subprocess.call(*popenargs, **kwargs)

运行命令。该函数将一直等待到子进程运行结束，并返回进程的returncode。文章一开始的例子就演示了call函数。如果子进程不需要进行交互,就可以使用该函数来创建。

subprocess.check_call(*popenargs, **kwargs)

与subprocess.call(*popenargs, **kwargs)功能一样，只是如果子进程返回的returncode不为0的话，将触发CalledProcessError异常。在异常对象中，包括进程的returncode信息。

subprocess模块的内容就这么多。在Python手册中，还介绍了如何使用subprocess来替换一些老的模块，老的函数的例子。赶兴趣的朋友可以看一下。