八周二次课（12月12日） 14.6 多进程Manager 14.7 进程池

八周二次课（12月12日）

14.6 多进程Manager

强大的Manage
以上实现的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的，其支持的类型非常多，包括，Value， Array，list，dict， Queue, Lock等。
下面看个例子：

#!/usr/bin/env python# 
-*- coding:utf-8 -*-
from multiprocessing import Process, 
Managerdef func(dt, lt):    
for i in range(10):       
key = 'arg' + str(i)        
dt[key] = i * i    
lt += range(11, 16)

例子2

import multiprocessing

def worker(d,l):
    l += range(11,16)
    for i in range(1,6):
        key = "key{0}".format(i)
        val = "val{0}".format(i)
        d[key] = val
if __name__ == "__main__":
    manager = multiprocessing.Manager()
    d = manager.dict()
    l = manager.list()
    p = multiprocessing.Process(target=worker,args=(d,l))
    p.start()
    p.join()
    print(d)
    print(l)
    print("mian end")

14.7 进程池

进程池
Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程。
下面我们先来看一个进程池非阻塞的例子：

#!/usr/bin/env python#
 -*- coding:utf-8 -*-       
import multiprocessing  
import time
def fun(msg):      
print("######start######  {0}".format(msg)) 
time.sleep(3)   
print("######end######  {0}".format(msg))

if __name__ == "__main__": 
pool = multiprocessing.Pool(processes=3) 
for i in xrange(1, 6):      
 msg = "hello {0}".format(i)       
pool.apply_async(fun, (msg,))   
 print("##########start main#########")
pool.close()
pool.join() 
#调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    
print("##########end main#########")