10.4 multiprocessing:像线程一样管理进程
multiprocessing模块包含一个API,它基于Threading API,可以把工作划分到多个进程。有些情况下,multiprocessing可以作为临时替换取代threading来利用多个CPU内核,相应地避免Python全局解释器所带来的计算瓶颈。由于multiprocessing与threading模块的这种相似性,这里的前几个例子都是从threading例子修改得来。后面会介绍multiprocessing中有但threading未提供的特性。
10.4.1 multiprocessing基础
要创建第二个进程,最简单的方法是用一个目标函数实例化一个Process对象,然后调用start()让它开始工作。
import multiprocessing
def worker():
"""worker function"""
print('Worker')
if __name__ == '__main__':
jobs = []
for i in range(5):
p = multiprocessing.Process(target=worker)
jobs.append(p)
p.start()
输出中单词“Worker”将打印5次,不过取决于具体的执行顺序,无法清楚地看出孰先孰后,这是因为每个进程都在竞争访问输出流。
运行结果:
大多数情况下,更有用的做法是,在创建一个进程时提供参数来告诉它要做什么。与threading不同,要向一个multiprocessing Process传递参数,这个参数必须能够用pickle串行化,下面这个例子向各个工作进程传递一个要打印的数。
import multiprocessing
def worker(num):
"""thread worker function"""
print('Worker:',num)
if __name__ == '__main__':
jobs =[]
for i in range(5):
p = multiprocessing.Process(target=worker,args=(i,))
jobs.append(p)
p.start()
现在整数参数会包含在各个工作进程打印的消息中。
运行结果: