multiprocessing.Process，multiprocessing.Pool区别

1. 是否可以批量开启子进程

multiprocessing.Process 无法批量开启子进程

multiprocessing.Pool可以批量开启子进程

1. p = Pool(2)
2. p.map() /
3. p.apply_sync()
4. p.close()
5. p.join()
6. #或者用with方式
7. with Pool( 2) as p:
8. p.map() / p.apply_sync()

2. 进程间通信

multiprocessing.Process 可以直接用multiprocesssing.Queue等进行通信，可以参考下面的代码

1. from multiprocessing import Process,Queue
2. import os
4. def run_proc(name,q):
5. print( 'Run Child process %s (%s)' % (name, os.getpid()))
6. q.put( 'value')
8. def run_proce(name,q):
9. print( 'Run Child process %s (%s)' % (name, os.getpid()))
10. print(q.get())
12. if __name__ == '__main__':
13. print( 'Parent process %s.' % os.getpid())
14. q = Queue()
15. p = Process(target=run_proc,args=( 'test',q))
16. p2 = Process(target=run_proce,args=( 'test2',q))
17. print( 'Child Process will start')
18. p.start()
19. p.join()
20. p2.start()
21. p2.join()
22. print( 'Child process end.')

multiprocessing.Pool不能直接用multiprocessing.Queue进行通信，只能通过共享内存，或者用multiprocessing.Manager()进行进程间通信。参考以下代码，代码一为使用multiprocessing.Queue进行通信，代码二是multiprocessing.Manager()进行进程间通信

代码一：

1. from multiprocessing import Pool,Queue,Manager
2. import os
4. def run_proc(name,q):
5. print( 'Run Child process %s (%s)' % (name, os.getpid()))
6. q.put( 'value')
8. if __name__ == '__main__':
9. print( 'Parent process %s.' % os.getpid())
10. q = Queue()
11. p = Pool( 2)
12. L = [ 1, 2]
13. for l in L:
14. p.apply_async(run_proc,args=(l,q))
15. print( 'Child Process will start')
16. p.close()
17. p.join()
18. print( 'Child process end.')
19. print(q.get())

上面的代码执行后，控制台打印结果如下，并且程序一直未能结束。

1. Parent process 4640.
2. Child Process will start
3. Child process end.

代码二：

1. from multiprocessing import Pool,Queue,Manager
2. import os
4. def run_proc(name,q):
5. print( 'Run Child process %s (%s)' % (name, os.getpid()))
6. q.put( 'value')
8. if __name__ == '__main__':
9. print( 'Parent process %s.' % os.getpid())
10. q = Manager().Queue()
11. p = Pool( 2)
12. L = [ 1, 2]
13. for l in L:
14. p.apply_async(run_proc,args=(l,q))
15. print( 'Child Process will start')
16. p.close()
17. p.join()
18. print( 'Child process end.')
19. print(q.get())

代码二的执行结果如下：

1. Parent process 4864.
2. Child Process will start
3. Run Child process 1 ( 6008)
4. Run Child process 2 ( 5112)
5. Child process end.
6. value

Note：

1. multiprocess.Manager()只能在主进程中使用，因为multiprocess.Manager()初始化后会开启一个server process，而在子进程中因为默认的daemon为True，（即默认是守护进程，不允许创建子进程，并且父进程代码执行结束，子进程也会终止允许）。如果在子进程中使用multiprocess.Manager()，就会抛出异常：AssertionError:daemonic processes are not allowed to have children.

2. 因为在Linux或者Mac系统，multiprocessing.Pool默认开启子进程的方式是通过fork。也可以通过multiprocess.set_start_method()方法修改开启的方式为spawn/ forkserver。那么如果要调用该方法，那么 multiprocess.Manager()应该用在multiprocess.set_start_method()方法之后。否则，就会抛出异常：Runtimeerror: context has already been set

Ref:

廖雪峰-多进程

转自: Oops_newbie的博客