多进程

1.fork():

import os 

pid = os.fork()

if pid == 0:

    print(' I am child process (%s) and my parent is %s. ' % (os.getpid(), os.getppid()))

else:

    print(' I (%s) just created a child process (%s). ' % (os.getpid(), pid))

2.multiprocessing:

multiprocessing 模块提供了一个 Process 类来代表一个进程对象

from multiprocessing import Process

import os

def run_proc(name):

    print('Run child process %s (%s)' % (name, os.getpid()))

if __name__ == '__main__':

    print('Parent process %s.' % os.getpid())

    p = Process(target=run_proc, args=('test',))

    print('Child process will start.')

    p.start()

    p.join()

    print('Child process end.')

创建子进程时，只需要传入一个执行函数和函数的参数，创建一个Process实例，用start()方法启动，这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步

3.Pool

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

    print('Run task %s (%s)...' % (name, os.getpid()))

    start = time.time()

    time.sleep(random.random()*3)

    end = time.time()

    print('Task %s run %0.2f seconds.' % (name, (end-start)))

if __name__=='__main__':

    print('Parent process %s.' % os.getpid())

    p = Pool(4)

    for i in range(5):

        p.apply_async(long_time_task, args=(i,))

    print('Waiting for all subprocesses done...')

    p.close()

    p.join()

    print('All subprocesses done.')

对Pool对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()，调用close()之后就不能继续添加新的Process了

请注意输出的结果，task 0，1，2，3是立刻执行的，而task 4要等待前面某个task完成后才执行，这是因为Pool的默认大小在我的电脑上是4，因此，最多同时执行4个进程。这是Pool有意设计的限制，并不是操作系统的限制。如果改成：

p = Pool(5)

就可以同时跑5个进程。

由于Pool的默认大小是CPU的核数，如果你不幸拥有8核CPU，你要提交至少9个子进程才能看到上面的等待效果。

4.子进程

import subprocess

print('$ nslookup  r = subprocess.call(['nslookup', ' print('Exit code:', r)

如果子进程还需要输入，则可以通过 communicate() 方法输入：

import subprocess

print('$ nslookup')

p = subprocess.Popen(['nslookup'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

output, err = p.communicate(b'set q=mx\npython.org\nexit\n')

print(output.decode('utf-8'))

print('Exit code:', p.returncode)

上面的代码相当于在命令行执行命令nslookup，然后手动输入：

set q=mx
python.org
exit

5.进程间通信

Process之间肯定是需要通信的，操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制，提供了Queue、Pipes等多种方式来交换数据。

我们以Queue为例，在父进程中创建两个子进程，一个往Queue里写数据，一个从Queue里读数据：

from multiprocessing import Process, Queue

import os, time, random

def write(q):

    print('Process to write: %s' % os.getpid())

    for value in ['A', 'B', 'C']:

         print('Put %s to queue...' % value)

          q.put(value)

         time.sleep(random.random())

def read(q):

    print('Process to read: %s' % os.getpid())

    while True:

         value = q.get(True)

         print('Get %s from queue.' % value)

if __name__=='__main__':

    q = Queue()

    pw = Process(target=write, args=(q,))

    pr = Process(target=read, args=(q,))

    pw.start()

    pr.start()

    pw.join()

    pr.terminate()