八周五次课（12月15日） 16.1 多进程的消息队列 16.2 消息队列pipe

最新推荐文章于 2024-01-03 19:14:37 发布

不喝咖啡会困死星人

最新推荐文章于 2024-01-03 19:14:37 发布

阅读量253

点赞数

本文链接：https://blog.csdn.net/weixin_40619578/article/details/78818056

版权

python_lesson 专栏收录该内容

59 篇文章 0 订阅

订阅专栏

八周五次课（12月15日）

16.1 多进程的消息队列

消息队列”是在消息的传输过程中保存消息的容器。
消息队列最经典的用法就是消费者和生成者之间通过消息管道来传递消息，消费者和生成者是不通的进程。生产者往管道中写消息，消费者从管道中读消息。
操作系统提供了很多机制来实现进程间的通信，multiprocessing模块就提供了Queue和Pipe两种方法来实现。

使用multiprocessing里面的Queue来实现消息队列

from multiprocessing import Queue
q = Queue
q.put(data)
data = q.get(data)


#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2017/6/6 17:36
# @Author  : lingxiangxiang
# @File    : demon8.py
from multiprocessing import Process, Queue
import os, time, random
# 写数据进程执行的代码:
def write(q):
    print('Process to write: %s' % os.getpid())
    for value in ['A', 'B', 'C']:
        print('Put %s to queue...' % value)
        q.put(value)
        time.sleep(random.random())
        # 读数据进程执行的代码:
def read(q):
    print('Process to read: %s' % os.getpid())
    while True:
        value = q.get(True)
        print('Get %s from queue.' % value)
if __name__=='__main__':
# 父进程创建Queue，并传给各个子进程：
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    # 启动子进程pw，写入: 
    pw.start()
    # 启动子进程pr，读取: 
    pr.start()  
    # 等待pw结束:
    pw.join()
    # pr进程里是死循环，无法等待其结束，只能强行终止:    
    pr.terminate()

16.2 消息队列pipe

通过Mutiprocess里面的Pipe来实现消息队列：
1， Pipe方法返回(conn1, conn2)代表一个管道的两个端。Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发。duplex为False，conn1只负责接受消息，conn2只负责发送消息。
2， send和recv方法分别是发送和接受消息的方法。close方法表示关闭管道，当消息接受结束以后，关闭管道。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2017/6/6 16:32
# @Author  : lingxiangxiang
# @File    : demon6.py
import multiprocessing
import time
 
def proc1(pipe):
    for i in xrange(5):
        print "send: %s" %(i)
        pipe.send(i)
        # print(dir(pipe))
        time.sleep(1)
 
def proc2(pipe):
    n = 5
    while n:
        print "proc2 rev:", pipe.recv()
        time.sleep(1)
        n -= 1
 
if __name__ == "__main__":
    pipe = multiprocessing.Pipe(duplex=False)
    print(type(pipe))
    print(pipe)
    p1 = multiprocessing.Process(target=proc1, args=(pipe[1],))
    p2 = multiprocessing.Process(target=proc2, args=(pipe[0],))
 
    p1.start()
    p2.start()
 
    p1.join()
    p2.join()
    pipe[0].close()    pipe[1].close()