Python 多进程技术详解

在 Linux/Unix 系统下，可以使用 os.fork() 创建、管理子进程，但是这种方法在 Windows 下是行不通的，而且我并没在实际开发中用过这种方式，所以这里只介绍 Multiprocessing 模块的使用方法。我会直接讲解用法，至于进程、线程的概念这里默认读者是了解的。

一、Python3 多进程编程

1. Process 类

multiprocessing 提供 Process 类来代表一个进程，通过实例化创建一个新子进程

from multiprocessing import Process, Queue

def power(x, res):
    for _ in range(4):
        x *= x
    res.put(x)

if __name__ == '__main__':
    res = Queue()
    p = Process(target=power, args=(2, res))
    p.start()
    p.join()
    result = res.get()
    print(result)

代码说明：

• 创建进程的代码必须像示例代码中一样，写在程序入口下方，这是使用 multiprocessing 编写多进程程序的要求，无论是使用 Process 还是后面会介绍的进程池。
• 创建进程的基本过程：一、 实例化 Process，同时传给子进程目标函数（target）和目标函数的变量（args）。注意函数名后面不要加括号，这里传的是函数的引用。 另外，注意传递给 args 的是一个 tuple，所以如果仅有一个参数，要在后面加逗号，例如： args = (2, )； 二、启动子进程（p.start()）；三、等待子进程结束（p.join()），这一步是用来同步进程的，后面的代码要等待该子进程结束才执行。
• 获取目标函数的结果：使用 Process 不能用 return 返回目标函数的结果，要使用 multiprocessing 提供的数据容器，即队列 Queue 或者管道 Pipe，我推荐用 Queue，因为比较简单，就像一般的队列一样。在创建进程之前实例化一个 Queue，把它作为参数传给目标函数，在目标函数中用 Queue 的 put() 方法把结果放入队尾。当子进程结束后，用 get() 方法把结果取出即可。

那么，如果要批量创建进程呢？后面会介绍使用进程池的方法，但是这里我还是给出一个用 Process 批量创建进程的示例，注意如何批量 join 子进程：

from multiprocessing import Process, Queue

def power(x, res):
    for _ in range(4):
        x *= x
    res.put(x)

if __name__ == '__main__':
    res = Queue()
    nums = [1, 2, 3]
    processes = []
    for num in nums:
        p = Process(target=power, args=(num, res))
        p.start()
        processes.