python 2.7 使用 multiprocessing Queue 实现进程共享队列

在实现爬虫功能时，启用了多进程功能，但是发现普通的Queue传入进城后是每个进程复制了一份，而不是大家共享该变量，经过查询，multiprocessing 模块本身提供了多个类型的共享变量，包括 Value,dict,list,queue等。本文记录了使用Queue的示例代码。

#!/usr/bin/env python
# *_coding:utf-8_*_

from multiprocessing import Process, Lock, Queue
import os


# multiprocessing.Queue 是线程安全的，不需要使用lock机制
def foo(lock, process_queue):
	# 打印当前进程id，打印队列头
    print os.getpid(), process_queue.get()
    # 将自己的进程id插入队列，其他进程访问队列时可以获取到的话说明队列已经共享
    process_queue.put(os.getpid())
    pass


def test():
    processes = []
    process_queue = Queue()
    lock = Lock()
    process_queue.put(1)
    for i in range(10):
        p = Process(target=foo, name=str(i), args=(lock, process_queue, ))
        p.start()
        processes.append(p)
    for p in processes:
        p.join()
    pass


if __name__ == '__main__':
    test()

输出结果

13996 1
8756 13996
12364 8756
4488 12364
5596 4488
5284 5596
3028 5284
3432 3028
8732 3432
8456 8732