python 多进程-进阶-进程间通信之Queue

    假如创建了大量的进程，那进程间通信是必不可少的。python提供了多种进程间通信的方式，如：Queue和Pipe方法。他们两者的区别在于Pipe常用来在两个进程间通信，Queue用来在多个进程间实现通信；

    Queue是多进程安全的队列，可以使用queue实现多进程之间的数据传递。有两个方法：Put 和 Get 可以进行 Queue 操作：

    Put 方法用以插入数据到队列中，他还有两个可选参数：blocked 和 timeout。如果blocked 为 True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出 Queue.Full异常。如果blocked为False，但该Queue队列已满，会立即抛出Queue.Full异常。

    Get 方法可以用队列读取并且删除一个元素。同样，Get方法有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，分两种情况：如果Queue有一个值可用，则立即放回该值；否则，如果队列为空，则立即抛出Queue.Empty异常。

    示例：在父进程中创建三个子进程，两个子进程往Queue中写入数据，一个子进程从Queue中读取数据。

# -*- coding: utf-8 -*-
# User: jier
# QQ: 2276845534
from multiprocessing import Process, Queue
import os, time, random

# 写数据进程执行的代码
def proce_write(q, urls):
    print("Process (%s) is writing..." % os.getpid())
    for url in urls:
        q.put(url)
        print("Put %s to queue..." % url)
        time.sleep(random.random())


# 读数据进程执行的代码
def proc_read(q):
    print('Process (%s) is writing...' %os.getpid())
    while True:
        url = q.get(True)
        print('Get %s from queue.' % url)


if __name__  == "__main__":
    # 父进程创建queue，并传给各个子进程
    q=Queue()
    proc_writer1 = Process(target=proce_write, args=(q, ['url_1', 'url_2', 'url_3']))
    proc_writer2 = Process(target=proce_write, args=(q, ['url_4', 'url_5', 'url_6']))
    proc_reader = Process(target=proc_read, args=(q,))
    # 启动子进程 proc_write，写入
    proc_writer1.start()
    proc_writer2.start()
    # 启动子进程proc_reader，读取
    proc_reader.start()
    # 等待proc_writer结束
    proc_writer1.join()
    proc_writer2.join()
    # proc_reader进程是死循环，无法等待其结束，只能强行终止,下面是强行终止的方法：
    proc_reader.terminate()

输出：

Process (12204) is writing...
Put url_1 to queue...
Process (12724) is writing...
Put url_4 to queue...
Process (5484) is writing...
Get url_1 from queue.
Get url_4 from queue.
Put url_2 to queue...
Get url_2 from queue.
Put url_3 to queue...
Get url_3 from queue.
Put url_5 to queue...
Get url_5 from queue.
Put url_6 to queue...
Get url_6 from queue.

Process finished with exit code 0