基于加锁能带来效率低和需要自己手动加锁的问题,我们最好寻找一种解决方案能够兼顾:
1.效率高(多个进程共享一块内存的数据)
2.帮我们处理好锁的问题,这就是multiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
3.队列和管道都是将数据存放于内存中
4.队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可扩展性。
一.队列
1.进程彼此之间互相隔离,要实现进程间通信(IPC),multiprocessing模块支持两种形式:队列和管道,这两种方式都是使用消息传递的
创建队列的类(底层就是以管道和锁定的方式实现)
#创建队列的类
from multiprocessing import Queue
import time,random
#
q=Queue(3) #实例化一个队列对象,用于多进程之间的数据传递,3是队列中允许的最大项数,省略则无大小限制
# q.put() #q.put方法用以插入数据到队列中,put方法还有两个可选参数:blocked和timeout。如果blocked为True(默认值),并且timeout为正值,该方法会阻塞timeout指定的时间,直到该队列有剩余的空间。如果超时,会抛出Queue.Full异常。如果blocked为Fa