Python多进程编程 ---- 基础篇5. Queue

----------基础篇

引子

Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

常用方法：

• get( [ block [ ,timeout ] ] ) ：从队列读取并且删除一个元素。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True。timeout是可选超时时间，用在阻塞模式中。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常。

• get_nowait( ) ：同get(False)方法。

• put(item [, block [,timeout ] ] ) ：将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。timeout指定在阻塞模式中等待可用空间的时间长短。如果blocked为True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。

• qsize() ：返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。

• empty() ：如果调用此方法时队列为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。

• full() ：如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的。

• close() ：关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果队列被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get（）操作上，关闭生产者中的队列不会导致get（）方法返回错误。

• cancel_join_thread()：不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

• join_thread()：连接队列的后台线程。此方法用于在调用close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是队列的原始创建者的所有进程调用。调用cancel_join_thread()方法可以禁止这种行为。

Queue的一段示例代码：

import multiprocessing

def writer_proc(q):      
    try:         
        q.put(1, block = False) 
    except:         
        pass   

def reader_proc(q):      
    try:         
        print(q.get(block = False) )
    except:         
        pass

if __name__ == "__main__":
    q = multiprocessing.Queue()
    writer = multiprocessing.Process(target=writer_proc, args=(q,))  
    writer.start()   

    reader = multiprocessing.Process(target=reader_proc, args=(q,))  
    reader.start()  

    reader.join()  
    writer.join()

结果

from multiprocessing import Process
from multiprocessing import Queue
import random
import os
# 向queue中输入数据的函数
def inputQ(queue):
    info = random.randint(1,100)
    queue.put(info)
    print('进程{}往队列中存了一个数据：{}'.format(os.getpid() , info))

# 向queue中输出数据的函数
def outputQ(queue):
    info = queue.get()
    print ('进程{}从队列中取出一个数据：{}'.format(os.getpid() , info))

if __name__ == '__main__':
    queue = Queue(5)
    lst_1  = []
    lst_2  = []
    for i in range(3):
        process = Process(target=inputQ,args=(queue,))
        process.start()
        lst_1.append(process)

    # 输出进程
    for i in range(2):
        process = Process(target=outputQ ,args=(queue,))
        process.start()
        lst_2.append(process)

结果：

另外，在使用进程池Pool时，使用Queue会出错，需要使用Manager.Queue。

参考文章：
python之路——进程

Python3.x：多进程Pipes与Manager

python并发编程之多进程