进程间通信 Queue

进程间通信-Queue

Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。

Queue实例

我们以Queue为例，在⽗进程中创建两个⼦进程，⼀个往Queue⾥写数据，
⼀个从Queue⾥读数据：

from multiprocessing import Process
from queue import Queue   # python3导入方法
#from Queue import Queue   # python2导入方法
import os, time, random
# 写数据进程执⾏的代码:
def write(q):
	for value in ['A', 'B', 'C']:
		print 'Put %s to queue...' % value
		q.put(value)
		time.sleep(random.random())
# 读数据进程执⾏的代码:
def read(q):
	while True:
		if not q.empty():
			value = q.get(True)
			print 'Get %s from queue.' % value
			time.sleep(random.random())
		else:
			break
if __name__=='__main__':
# ⽗进程创建Queue，并传给各个⼦进程：
	q = Queue()
	pw = Process(target=write, args=(q,))
	pr = Process(target=read, args=(q,))
# 启动⼦进程pw，写⼊:
	pw.start()
# 等待pw结束:
	pw.join()
# 启动⼦进程pr，读取:
	pr.start()
	pr.join()
# pr进程⾥是死循环，⽆法等待其结束，只能强⾏终⽌:

用法

初始化Queue()对象时（例如：q=Queue()），若括号中没有指定最⼤可接收
的消息数量，或数量为负值，那么就代表可接受的消息数量没有上限（直到
内存的尽头）；

Queue.qsize()：返回当前队列包含的消息数量；
Queue.empty()：如果队列为空，返回True，反之False ；
Queue.full()：如果队列满了，返回True,反之False；
Queue.put(XXX):往队列添加内容
Queue.get([block[, timeout]])：获取队列中的⼀条消息，然后将其从列队
中移除，block默认值为True；

1）如果block使⽤默认值，且没有设置timeout（单位秒），消息列队如果为
空，此时程序将被阻塞（停在读取状态），直到从消息列队读到消息为⽌，
如果设置了timeout，则会等待timeout秒，若还没读取到任何消息，则抛
出"Queue.Empty"异常；

2）如果block值为False，消息列队如果为空，则会⽴刻抛
出"Queue.Empty"异常；
Queue.get_nowait()：相当Queue.get(False)；
Queue.put(item,[block[, timeout]])：将item消息写⼊队列，block默认值
为True；

1）如果block使⽤默认值，且没有设置timeout（单位秒），消息列队如果已
经没有空间可写⼊，此时程序将被阻塞（停在写⼊状态），直到从消息列队
腾出空间为⽌，如果设置了timeout，则会等待timeout秒，若还没空间，则抛
出"Queue.Full"异常；

2）如果block值为False，消息列队如果没有空间可写⼊，则会⽴刻抛
出"Queue.Full"异常；
Queue.put_nowait(item)：相当Queue.put(item, False)；

3. 进程池中的Queue

如果要使⽤Pool创建进程，就需要使⽤multiprocessing.Manager()中的
Queue()，⽽不是multiprocessing.Queue()，否则会得到⼀条如下的错误信
息：

#修改import中的Queue为Manager
from multiprocessing import Manager,Pool
import os,time,random
def reader(q):
	print("reader启动(%s),⽗进程为(%s)"%(os.getpid(),os.getppid()))
	for i in range(q.qsize()):
		print("reader从Queue获取到消息：%s"%q.get(True))
def writer(q):
	print("writer启动(%s),⽗进程为(%s)"%(os.getpid(),os.getppid()))
	for i in "dongGe":
		q.put(i)
if __name__=="__main__":
	print("(%s) start"%os.getpid())
	q=Manager().Queue() #使⽤Manager中的Queue来初始化
	po=Pool()
#使⽤阻塞模式创建进程，这样就不需要在reader中使⽤死循环了，可以让writer完全执⾏完成后，再⽤reader去读取
    po.apply(writer,(q,))
    po.apply(reader,(q,))
	po.close()
	po.join()
	print("(%s) End"%os.getpid())