最全深入Python进程间通信原理，腾讯面试 算法题

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

    with open("%d" % pid, "r") as f:
        sums.append(float(f.read()))
    os.remove("%d" % pid)  # 删除通信的文件
return math.sqrt(sum(sums) * 8)

print pi(10000000)

输出

3.14159262176

### 管道pipe


管道是Unix进程间通信最常用的方法之一，它通过在父子进程之间开通读写通道来进行双工交流。我们通过os.read()和os.write()来对文件描述符进行读写操作，使用os.close()关闭描述符。


![](https://img-blog.csdnimg.cn/img_convert/102477f00734f99ca0456665b75a64df.png)


上图为单进程的管道


![](https://img-blog.csdnimg.cn/img_convert/7695a4df6ccb8ba19ab1c1a2036d3acd.png)


上图为父子进程分离后的管道

coding: utf-8

import os
import sys
import math

def slice(mink, maxk):
s = 0.0
for k in range(mink, maxk):
s += 1.0/(2k+1)/(2k+1)
return s

def pi(n):
childs = {}
unit = n / 10
for i in range(10): # 分10个子进程
mink = unit * i
maxk = mink + unit
r, w = os.pipe()
pid = os.fork()
if pid > 0:
childs[pid] = r # 将子进程的pid和读描述符存起来
os.close(w) # 父进程关闭写描述符，只读
else:
os.close® # 子进程关闭读描述符，只写
s = slice(mink, maxk) # 子进程开始计算
os.write(w, str(s))
os.close(w) # 写完了，关闭写描述符
sys.exit(0) # 子进程结束
sums = []
for pid, r in childs.items():
sums.append(float(os.read(r, 1024)))
os.close® # 读完了，关闭读描述符
os.waitpid(pid, 0) # 等待子进程结束
return math.sqrt(sum(sums) * 8)

print pi(10000000)

输出

3.14159262176

### 无名套接字socketpair


我们知道跨网络通信免不了要通过套接字进行通信，但是本例的多进程是在同一个机器上，用不着跨网络，使用普通套接字进行通信有点浪费。


![](https://img-blog.csdnimg.cn/img_convert/a8546247442a0e07fb2d97973874623c.png)


上图为单进程的socketpair


![](https://img-blog.csdnimg.cn/img_convert/ba105d38d7130052ef2a99f8c14c3230.png)


上图为父子进程分离后的socketpair


为了解决这个问题，Unix系统提供了无名套接字socketpair，不需要端口也可以创建套接字，父子进程通过socketpair来进行全双工通信。


socketpair返回两个套接字对象，一个用于读一个用于写，它有点类似于pipe，只不过pipe返回的是两个文件描述符，都是整数。所以写起代码形式上跟pipe几乎没有什么区别。


我们使用sock.send()和sock.recv()来对套接字进行读写，通过sock.close()来关闭套接字对象。

coding: utf-8

import os
import sys
import math
import socket

def slice(mink, maxk):
s = 0.0
for k in range(mink, maxk):
s += 1.0/(2k+1)/(2k+1)
return s

def pi(n):
childs = {}
unit = n / 10
for i in range(10): # 分10个子进程
mink = unit * i
maxk = mink + unit
rsock, wsock = socket.socketpair()
pid = os.fork()
if pid > 0:
childs[pid] = rsock
wsock.close()
else:
rsock.close()
s = slice(mink, maxk) # 子进程开始计算
wsock.send(str(s))
wsock.close()
sys.exit(0) # 子进程结束
sums = []
for pid, rsock in childs.items():
sums.append(float(rsock.recv(1024)))
rsock.close()
os.waitpid(pid, 0) # 等待子进程结束
return math.sqrt(sum(sums) * 8)

print pi(10000000)

输出

3.14159262176

### OS消息队列


操作系统也提供了跨进程的消息队列对象可以让我们直接使用，只不过python没有默认提供包装好的api来直接使用。我们必须使用第三方扩展来完成OS消息队列通信。第三方扩展是通过使用Python包装的C实现来完成的。


![](https://img-blog.csdnimg.cn/img_convert/4be5e7d30eff3cc71341fe92a6069b01.png)


OS消息队列有两种形式，一种是posix消息队列，另一种是systemv消息队列，有些操作系统两者都支持，有些只支持其中的一个，比如macos仅支持systemv消息队列，我本地的python的docker镜像是debian linux，它仅支持posix消息队列。


posix消息队列我们先使用posix消息队列来完成圆周率的计算，posix消息队列需要提供一个唯一的名称，它必须是 `/` 开头。close()方法仅仅是减少内核消息队列对象的引用，而不是彻底关闭它。unlink()方法才能彻底销毁它。O\_CREAT选项表示如果不存在就创建。向队列里塞消息使用send方法，收取消息使用receive方法，receive方法返回一个tuple，tuple的第一个值是消息的内容，第二个值是消息的优先级。之所以有优先级，是因为posix消息队列支持消息的排序，在send方法的第二个参数可以提供优先级整数值，默认为0，越大优先级越高。

coding: utf-8

import os
import sys
import math
from posix_ipc import MessageQueue as Queue

def slice(mink, maxk):
s = 0.0
for k in range(mink, maxk):
s += 1.0/(2k+1)/(2k+1)
return s

def pi(n):
pids = []
unit = n / 10
q = Queue(“/pi”, flags=os.O_CREAT)
for i in range(10): # 分10个子进程
mink = unit * i
maxk = mink + unit
pid = os.fork()
if pid > 0:
pids.append(pid)
else:
s = slice(mink, maxk) # 子进程开始计算
q.send(str(s))
q.close()
sys.exit(0) # 子进程结束
sums = []
for pid in pids:
sums.append(float(q.receive()[0]))
os.waitpid(pid, 0) # 等待子进程结束
q.close()
q.unlink() # 彻底销毁队列
return math.sqrt(sum(sums) * 8)

print pi(10000000)

输出

3.14159262176

systemv消息队列systemv消息队列和posix消息队列用起来有所不同。systemv的消息队列是以整数key作为名称，如果不指定，它就创建一个唯一的未占用的整数key。它还提供消息类型的整数参数，但是不支持消息优先级。

coding: utf-8

import os
import sys
import math
import sysv_ipc
from sysv_ipc import MessageQueue as Queue

def slice(mink, maxk):
s = 0.0
for k in range(mink, maxk):
s += 1.0/(2k+1)/(2k+1)
return s

def pi(n):
pids = []
unit = n / 10

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！