python进程间通信

python实现进程间的通信有Queue,Pipe,Value+Array等,其中Queue实现多个进程间的通信,而Pipe实现两个进程间通信,而Value+Array使用得是共享内存映射文件的方式,所以速度比较快

1.Queue的使用

• Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递,提供了Put和Get两个方法
  
  • put方法将数据插入到队列中,有两个可循参数:blocked和timeout.如果blocked为True且timeout为正值,该方法会阻塞timeout长的时间,直到队列有剩余空间.如果超时,会抛出Queue.Full异常,如果block为Fasle且该队列已满,会直接抛出Queue.Full异常
  • Get方法从队列中读取并且删除一个数据,它同样有blocked和timeout两个参数,blocked为true,等待timeout长的时间,直到取到数据,如果未取到,抛出Queue.Empty异常,如果blocked为False,直接抛出Queue.Empty异常

from multiprocessing import Queue,Process
import os,time,random

#添加数据函数
def proc_write(queue,urls):
    print("进程(%s)正在写入..."%(os.getpid()))
    for url in urls:
        queue.put(url)
        print("%s被写入到队列中"%(url))
        time.sleep(random.random()*3)

#读取数据函数
def proc_read(queue):
    print("进程(%s)正在读取..."%(os.getpid()))

    while True:
        url = queue.get();
        print("从队列中提取到:%s"%(url))

if __name__ =="__main__":
    queue = Queue()
    proc_writer1 = Process(target=proc_write,args=(queue,["ur1","ur2","ur3","ur4"]))
    proc_writer2 = Process(target=proc_write,args=(queue,["ur5","ur6","ur7","ur8"]))
    proc_reader = Process(target=proc_read,args=(queue,))
    proc_writer1.start()
    proc_writer2.start()
    proc_reader.start()
    proc_writer1.join()
    proc_writer2.join()
    proc_reader.terminate()

• 运行结果如下
  进程(21203)正在读取…
  进程(21201)正在写入…
  进程(21202)正在写入…
  ur1被写入到队列中
  从队列中提取到:ur1
  ur5被写入到队列中
  从队列中提取到:ur5
  ur2被写入到队列中
  从队列中提取到:ur2
  ur6被写入到队列中
  从队列中提取到:ur6
  ur7被写入到队列中
  从队列中提取到:ur7
  ur3被写入到队列中
  从队列中提取到:ur3
  ur4被写入到队列中
  从队列中提取到:ur4
  ur8被写入到队列中
  从队列中提取到:ur8

2.Pipe的使用

• pipe用于两个进程间的通信,两个进程分别位于管道的两端,Pipe方法返回(conn1,conn2)代表一个管道的两端,Pipe方法有dumplex参数,若该参数为True,管道为全双工模式,若为Fasle,conn1只负责接收消息,conn2只负责发送消息.send和recv方法分别是发送和接收消息的方法,例如,在全双工模式下,可以调用conn1.send发送消息,conn1.recv接收消息,如果没有消息可以接收,recv方法会一直阻塞,如果管道已经被关闭,recv方法会抛出EOFError

  1 from multiprocessing import Pipe,Process
  2 import random,time,os
  3
  4 def proc_send(pipe,urls):
  5   for url in urls:
  6     print("进程(%s)发送:%s"%(os.getpid(),url))
  7     pipe.send(url)
  8     time.sleep(random.random())
  9
 10 def proc_recv(pipe):
 11   while True:
 12     print("进程(%s)接收到:%s"%(os.getpid(),pipe.recv()))
 13     time.sleep(random.random())
 14
 15 if __name__ == "__main__":
 16   pipe = Pipe()
 17   p1 = Process(target=proc_send,args=(pipe[0],["url_"+str(i) for i in range(10)],))
 18   p2 = Process(target=proc_recv,args=(pipe[1],))
 19   p1.start()
 20   p2.start()
 21   pi.join()
 22   p2.terminate()

• 运行结果如下
  进程(21220)发送:url_0
  进程(21221)接收到:url_0
  进程(21220)发送:url_1
  进程(21221)接收到:url_1
  进程(21220)发送:url_2
  进程(21220)发送:url_3
  进程(21220)发送:url_4
  进程(21221)接收到:url_2
  进程(21220)发送:url_5
  进程(21221)接收到:url_3
  进程(21220)发送:url_6
  进程(21221)接收到:url_4
  进程(21220)发送:url_7
  进程(21220)发送:url_8
  进程(21221)接收到:url_5
  进程(21221)接收到:url_6
  进程(21220)发送:url_9
  进程(21221)接收到:url_7
  进程(21221)接收到:url_8
  进程(21221)接收到:url_9