进程间通信(python)

Process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了QueuePipes等多种方式来交换数据。

一、我们以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据:

from multiprocessing import Process,Queue
import os,time,random
# 写数据进程执行的代码:
def write(q):
    print("Process to write: %s"% os.getgid())
    for value in ['A','B','C']:
        print('Put %s to queue...' % value)
        q.put(value)
        time.sleep(random.random())

#读数据进程执行的代码
def read(q):
    print("Process to read: %s "% os.getgid())
    while True:
        value = q.get(True)
        print('Get %s from queue.' % value)

if __name__ == '__main__':
    # 父进程创建Queue,并传给各个子进程
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    #启动子进程pw,写入:
    pw.start()
    #启动子进程pr,读取:
    pr.start()
    #等待pw结束
    pw.join()
    #pr进程这里是死循环,无法等待其结束,只能强行终止
    pr.terminate()

输出:

Process to write: 15582
Put A to queue...
Process to read: 15583 
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.

在Unix/Linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的细节。由于Windows没有fork调用,因此,multiprocessing需要“模拟”出fork的效果,父进程所有Python对象都必须通过pickle序列化再传到子进程去,所有,如果multiprocessing在Windows下调用失败了,要先考虑是不是pickle失败了。

二、管道Pipes

现有2个进程A和B,他们都在内存中开辟了空间,那么我们在内存中再开辟一个空间C,作用是连接这两个进程的。对于进程来说内存空间是可以共享的(任何一个进程都可以使用内存,内存当中的空间是用地址来标记的,我们通过查找某一个地址就能找到这个内存)A进程可以不断的向C空间输送东西,B进程可以不断的从C空间读取东西,这就是进程间的通信   

      这个通信方式的原理类似于用文件通信,一个进程往文件里写,另外一个进程从文件里读取,最大的不同在于管道里C的空间是开辟在内存当中,第一是他不容易被截获,第二是进程结束后内存空间他会自动的释放掉,文件就不能自动释放掉。第三就是内存的传输是不需要和磁盘交互,所以相比文件管道的传输效率要高很多,这就是管道的基本原理。

      管道在信息传输上是以流的方式传输, 也就是你从A进程不断的写入,B进程源源不断的读出,A进程先写入的就会被B进程先读出,后写进来的就会被后读出,管道不仅仅可以让A进程写C内存空间收,也可以B进程写,C内存空间收,也就是双向通信,单项通信叫做半双工,双向叫做全双工。

2.管道本质
     在内存中开辟一个新的空间,对多个进程可见,在通信形式上形成一种约束

3.创建管道
     multiprocessing------------->Pipe

     1.首先理解Pipe是什么,有人理解为类,那到底是什么?

        >>> from multiprocessing import Pipe
        >>> type(Pipe)

                <class 'method'>

       可以看到是个方法,也就是函数,是通过函数的返回值来完成工作的,不是类
 

----------------------

待完善

 

参考:

(1)、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000

(2)、https://blog.csdn.net/weixin_39859512/article/details/80898340

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值