Process
之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing
模块包装了底层的机制,提供了Queue
、Pipes
等多种方式来交换数据。
一、我们以Queue
为例,在父进程中创建两个子进程,一个往Queue
里写数据,一个从Queue
里读数据:
from multiprocessing import Process,Queue
import os,time,random
# 写数据进程执行的代码:
def write(q):
print("Process to write: %s"% os.getgid())
for value in ['A','B','C']:
print('Put %s to queue...' % value)
q.put(value)
time.sleep(random.random())
#读数据进程执行的代码
def read(q):
print("Process to read: %s "% os.getgid())
while True:
value = q.get(True)
print('Get %s from queue.' % value)
if __name__ == '__main__':
# 父进程创建Queue,并传给各个子进程
q = Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
#启动子进程pw,写入:
pw.start()
#启动子进程pr,读取:
pr.start()
#等待pw结束
pw.join()
#pr进程这里是死循环,无法等待其结束,只能强行终止
pr.terminate()
输出:
Process to write: 15582
Put A to queue...
Process to read: 15583
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.
在Unix/Linux下,multiprocessing
模块封装了fork()
调用,使我们不需要关注fork()
的细节。由于Windows没有fork
调用,因此,multiprocessing
需要“模拟”出fork
的效果,父进程所有Python对象都必须通过pickle序列化再传到子进程去,所有,如果multiprocessing
在Windows下调用失败了,要先考虑是不是pickle失败了。
二、管道Pipes
现有2个进程A和B,他们都在内存中开辟了空间,那么我们在内存中再开辟一个空间C,作用是连接这两个进程的。对于进程来说内存空间是可以共享的(任何一个进程都可以使用内存,内存当中的空间是用地址来标记的,我们通过查找某一个地址就能找到这个内存)A进程可以不断的向C空间输送东西,B进程可以不断的从C空间读取东西,这就是进程间的通信
这个通信方式的原理类似于用文件通信,一个进程往文件里写,另外一个进程从文件里读取,最大的不同在于管道里C的空间是开辟在内存当中,第一是他不容易被截获,第二是进程结束后内存空间他会自动的释放掉,文件就不能自动释放掉。第三就是内存的传输是不需要和磁盘交互,所以相比文件管道的传输效率要高很多,这就是管道的基本原理。
管道在信息传输上是以流的方式传输, 也就是你从A进程不断的写入,B进程源源不断的读出,A进程先写入的就会被B进程先读出,后写进来的就会被后读出,管道不仅仅可以让A进程写C内存空间收,也可以B进程写,C内存空间收,也就是双向通信,单项通信叫做半双工,双向叫做全双工。
2.管道本质
在内存中开辟一个新的空间,对多个进程可见,在通信形式上形成一种约束
3.创建管道
multiprocessing------------->Pipe
1.首先理解Pipe是什么,有人理解为类,那到底是什么?
>>> from multiprocessing import Pipe
>>> type(Pipe)
<class 'method'>
可以看到是个方法,也就是函数,是通过函数的返回值来完成工作的,不是类
----------------------
待完善
参考:
(2)、https://blog.csdn.net/weixin_39859512/article/details/80898340