一 .Manager进程数据之间数据共享
1.数据之间共享概念
展望未来,基于消息传递的并发编程是大势所趋
即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换数据。
这样极大地减少了对使用锁定和其他同步手段的需求,还可以扩展到分布式系统中。
但进程间应该尽量避免通信,即便需要通信,也应该选择进程安全的工具来避免加锁带来的问题。
以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。
进程间数据是独立的,可以借助于队列或管道实现通信,二者都是基于消息传递的
虽然进程间数据独立,但可以通过Manager实现数据共享,事实上Manager的功能远不止于此
from multiprocessing import Process,Manager def aa(dic): dic["num"]-=1 print(dic) # {'num': 99} if __name__ == '__main__': m=Manager() dic=m.dict({"num":100}) # cc=[] p=Process(target=aa,args=(dic,)) p.start() p.join() print("主进程",dic) # 主进程 {'num': 99}
# 注意异步有一个问题就是 抢占资源的问题
不加锁而操作共享的数据,肯定会出现数据错乱
def aa(dic): dic["num"] -= 1 print(dic) #{'num': 52} if __name__ == '__main__': m = Manager() dic = m.dict({"num": 100}) cc=[] for i in range(50): p = Process(target=aa, args=(dic,)) p.start() cc.append(p) for i in cc: i.join() # 阻塞同步 print("主进程",dic)
#主进程 {'num': 52}
# 注意异步有一个问题就是 抢占资源的问题
解决就加上锁
from multiprocessing import Process,Manager,Lock def aa(dic,look): look.acquire() dic["num"] -= 1 print(dic) look.release() if __name__ == '__main__': m = Manager() l=Lock() dic = m.dict({"num": 100}) cc=[] for i in range(50): p = Process(target=aa, args=(dic,l)) p.start() cc.append(p) for i in cc: i.join() # 阻塞同步 print("主进程",dic)
from multiprocessing import Manager,Process,Lock def work(d,lock): with lock: #不加锁而操作共享的数据,肯定会出现数据错乱 d['count']-=1 if __name__ == '__main__': lock=Lock() with Manager() as m: dic=m.dict({'count':100}) p_l=[] for i in range(100): p=Process(target=work,args=(dic,lock)) p_l.append(p) p.start() for p in p_l: p.join() print(dic)