python多进程编程

程序和进程

一个程序一般由代码和运行时的资源所组成，系统为每个程序分配一个或者多个编号，在程序中 运行的这些模块（逻辑模块）共同实现程序的设计目标，这些同时运行的模块中的每个成员都可以看作一个进程，每个进程拥有独立的内存空间。
命令行下，查看进程id和父进程id

>>> import os
>>> os.getpid() #当前进程id
10252
>>> os.getppid() # #父进程id
5884

多进程

python中的多进程模块multiprocessing, 常用类、方法和属性：Pool，Process，Queue
需要注意：全局变量不能被多进程共享。

可以通过队列multiprocessing.Queue向多进程传递数据，但是不能使用常规队列queue.Queue。

q = multiprocessing.Queue(3) # 设置队列可以容纳数据的最大数量

队列q的常用方法和属性：put、put_nowait、get、get_nowait、empty、full、qsize等。

通常，使用windows系统（不支持fork函数）进行多进程模块的某些类和方法编程时，需要把多进程代码写到if语句之下，否则报错。

def demo1():
    pass

def demo2():
    pass

if __name__ == '__main__':
    t1 = multiprocessing.Process(target=demo1)
    t2 = multiprocessing.Process(target=demo2)
    t1.start()
    t2.start()

也可以在if语句之下加入下面代码：

if __name__ == '__main__':
    multiprocessing.freeze_support()
    main()

进程池

进程池将指定数量的进程进行封装，方便多进程的调用。

from multiprocessing import Pool
import os, time, random


def worker(msg):
    t_start = time.time()
    print('%s开始执行,进程号为%d' % (msg, os.getpid()))
    time.sleep(random.random() * 2)
    # 0.2f
    print(msg, "执行完成,耗时%0.2f" % (time.time() - t_start))


def main():
    po = Pool(4)  # 定义一个进程池  4个进程
    for i in range(0, 8):
        po.apply_async(worker, (i,)) # 添加方法和参数到进程池，与多线程类似
    print("--1--")
    # 关闭进程池，不再接收新的输入
    po.close()
    # 等待子进程执行完成
    po.join()
    print("--2--")


if __name__ == '__main__':
    main()

需要注意的是：进程池里面的进程出现异常时，异常不会主动抛出。

进程间通信

进程间通信常用类：multiprocessing.Queue()
进程池间通信：multiprocessing.Manager().Queue()