python 唤醒进程_Python之进程

最新推荐文章于 2024-03-19 21:44:31 发布

裴崽崽

最新推荐文章于 2024-03-19 21:44:31 发布

阅读量1k

点赞数

文章标签： python 唤醒进程

本文链接：https://blog.csdn.net/weixin_34957720/article/details/113965467

版权

动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。

并发性：任何进程都可以同其他进程一起并发执行

独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位；

异步性：由于进程间的相互制约，使进程具有执行的间断性，即进程按各自独立的、不可预知的速度向前推进

结构特征：进程由程序、数据和进程控制块三部分组成。

多个不同的进程可以包含相同的程序：一个程序在不同的数据集里就构成不同的进程，能得到不同的结果；但是执行过程中，程序不能发生改变。

进程的特征

程序是指令和数据的有序集合，其本身没有任何运行的含义，是一个静态的概念。

而进程是程序在处理机上的一次执行过程，它是一个动态的概念。

程序可以作为一种软件资料长期存在，而进程是有一定生命期的。

程序是永久的，进程是暂时的。

进程与程序的区别

注意：同一个程序执行两次，就会在操作系统中出现两个进程，所以我们可以同时运行一个软件，分别做不同的事情也不会混乱。

进程调度

要想多个进程交替运行，操作系统必须对这些进程进行调度，这个调度也不是随即进行的，而是需要遵循一定的法则，由此就有了进程的调度算法。

先来先服务(FCFS)调度算法是一种最简单的调度算法，该算法既可用于作业调度，也可用于进程调度。FCFS算法比较有利于长作业(进程)，而不利于短作业(进程)。由此可知，本算法适合于CPU繁忙型作业，而不利于I/O繁忙型的作业(进程)。

先来先服务

短作业(进程)优先调度算法(SJ/PF)是指对短作业或短进程优先调度的算法，该算法既可用于作业调度，也可用于进程调度。但其对长作业不利；不能保证紧迫性作业(进程)被及时处理；作业的长短只是被估算出来的。

短作业优先调度算法

时间片轮转(Round Robin，RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中，需要将CPU的处理时间分成固定大小的时间片，例如，几十毫秒至几百毫秒。如果一个进程在被调度选中之后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放自己所占有的CPU而排到就绪队列的末尾，等待下一次调度。同时，进程调度程序又去调度当前就绪队列中的第一个进程。

显然，轮转法只能用来调度分配一些可以抢占的资源。这些可以抢占的资源可以随时被剥夺，而且可以将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。由于作业调度是对除了CPU之外的所有系统硬件资源的分配，其中包含有不可抢占资源，所以作业调度不使用轮转法。

在轮转法中，时间片长度的选取非常重要。首先，时间片长度的选择会直接影响到系统的开销和响应时间。如果时间片长度过短，则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增加，从而加重系统开销。反过来，如果时间片长度选择过长，例如，一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕，则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所允许最大的进程数来确定的。

在轮转法中，加入到就绪队列的进程有3种情况：

一种是分给它的时间片用完，但进程还未完成，回到就绪队列的末尾等待下次调度去继续执行。

另一种情况是分给该进程的时间片并未用完，只是因为请求I/O或由于进程的互斥与同步关系而被阻塞。当阻塞解除之后再回到就绪队列。

第三种情况就是新创建进程进入就绪队列。

如果对这些进程区别对待，给予不同的优先级和时间片从直观上看，可以进一步改善系统服务质量和效率。例如，我们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞原因分成不同的就绪队列，每个队列按FCFS原则排列，各队列之间的进程享有不同的优先级，但同一队列内优先级相同。这样，当一个进程在执行完它的时间片之后，或从睡眠中被唤醒以及被创建之后，将进入不同的就绪队列。

时间片轮转法

前面介绍的各种用作进程调度的算法都有一定的局限性。如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，而且如果并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将无法使用。

而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间，而且还可以满足各种类型进程的需要，因而它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中，调度算法的实施过程如下所述。

(1) 应设置多个就绪队列，并为各个队列赋予不同的优先级。第一个队列的优先级最高，第二个队列次之，其余各队列的优先权逐个降低。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。

(2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，如它能在该时间片内完成，便可准备撤离系统；如果它在一个时间片结束时尚未完成，调度程序便将该进程转入第二队列的末尾，再同样地按FCFS原则等待调度执行；如果它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长作业(进程)从第一队列依次降到第n队列后，在第n 队列便采取按时间片轮转的方式运行。

(3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。如果处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分配给新到的高优先权进程。

多级反馈队列

一般采用时间片轮转法和多级反馈队列一起使用。

进程的并行与并发

并行 : 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；(资源够用，比如三个线程，四核的CPU )

并发 : 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。

区别:

并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。

并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。

同步异步阻塞非阻塞

状态介绍

在了解其他概念之前，我们首先要了解进程的几个状态。在程序运行的过程中，由于被操作系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。

(1)就绪(Ready)状态，当进程已分配到除CPU以外的所有必要的资源，只要获得处理机便可立即执行，这时的进程状态称为就绪状态。

(2)执行/运行(Running)状态当进程已获得处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。

(3)阻塞(Blocked)状态正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。

同步和异步

所谓同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成，这是一种可靠的任务序列。要么成功都成功，失败都失败，两个任务的状态可以保持一致。

所谓异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了。至于被依赖的任务最终是否真正完成，依赖它的任务无法确定，所以它是不可靠的任务序列。

比如我去银行办理业务，可能会有两种方式：

第一种：选择排队等候；

第二种：选择取一个小纸条上面有我的号码，等到排到我这一号时由柜台的人通知我轮到我去办理业务了；

第一种：前者(排队等候)就是同步等待消息通知，也就是我要一直在等待银行办理业务情况；

第二种：后者(等待别人通知)就是异步等待消息通知。在异步消息处理中，等待消息通知者(在这个例子中就是等待办理业务的人)往往注册一个回调机制，在所等待的事件被触发时由触发机制(在这里是柜台的人)通过某种机制(在这里是写在小纸条上的号码，喊号)找到等待该事件的人。

例子

阻塞与非阻塞

同步阻塞形式：效率最低。拿上面的例子来说，就是你专心排队，什么别的事都不做。异步阻塞形式：如果在银行等待办理业务的人采用的是异步的方式去等待消息被触发(通知)，也就是领了一张小纸条，假如在这段时间里他不能离开银行做其它的事情，那么很显然，这个人被阻塞在了这个等待的操作上面；

异步操作是可以被阻塞住的，只不过它不是在处理消息时阻塞，而是在等待消息通知时被阻塞。

同步非阻塞形式：实际上是效率低下的，想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有，如果把打电话和观察排队的位置看成是程序的两个操作的话，这个程序需要在这两种不同的行为之间来回的切换，效率可想而知是低下的。异步非阻塞形式：效率更高，因为打电话是你(等待者)的事情，而通知你则是柜台(消息触发机制)的事情，程序没有在两种不同的操作中来回切换；比如说，这个人突然发觉自己烟瘾犯了，需要出去抽根烟，于是他告诉大堂经理说，排到我这个号码的时候麻烦到外面通知我一下，那么他就没有被阻塞在这个等待的操作上面，自然这个就是异步+非阻塞的方式了。

很多人会把同步和阻塞混淆，是因为很多时候同步操作会以阻塞的形式表现出来，同样的，很多人也会把异步和非阻塞混淆，因为异步操作一般都不会在真正的IO操作处被阻塞。

进程的创建与结束

进程创建

但凡是硬件，都需要有操作系统去管理，只要有操作系统，就有进程的概念，就需要有创建进程的方式，一些操作系统只为一个应用程序设计，比如微波炉中的控制器，一旦启动微波炉，所有的进程都已经存在。

而对于通用系统(跑很多应用程序)，需要有系统运行过程中创建或撤销进程的能力，主要分为4中形式创建新的进程：

1. 系统初始化(查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台并且只在需要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印)

2. 一个进程在运行过程中开启了子进程(如nginx开启多进程，os.fork,subprocess.Popen等)

3. 用户的交互式请求，而创建一个新进程(如用户双击暴风影音)

4. 一个批处理作业的初始化(只在大型机的批处理系统中应用)

无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。

1. 在UNIX中该系统调用是：fork，fork会创建一个与父进程一模一样的副本，二者有相同的存储映像、同样的环境字符串和同样的打开文件(在shell解释器进程中，执行一个命令就会创建一个子进程)2. 在windows中该系统调用是：CreateProcess，CreateProcess既处理进程的创建，也负责把正确的程序装入新进程。

关于创建子进程，UNIX和windows1.相同的是：进程创建后，父进程和子进程有各自不同的地址空间(多道技术要求物理层面实现进程之间内存的隔离)，任何一个进程的在其地址空间中的修改都不会影响到另外一个进程。2.不同的是：在UNIX中，子进程的初始地址空间是父进程的一个副本，提示：子进程和父进程是可以有只读的共享内存区的。但是对于windows系统来说，从一开始父进程与子进程的地址空间就是不同的。

创建进程

进程结束

1.正常退出(自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess)

2. 出错退出(自愿，python a.py中a.py不存在)

3. 严重错误(非自愿，执行非法指令，如引用不存在的内存，1/0等，可以捕捉异常，try...except...)

4. 被其他进程杀死(非自愿，如kill -9)

进程在python中的应用

multiprocess模块

仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。

multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务(比如函数)，该模块与多线程模块threading的编程接口类似。

但是与线程不同，进程没有任何共享状态，进程修改的数据，改动仅限于该进程内。

multiprocess.process模块

模块介绍

process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务(尚未启动)

强调：1. 需要使用关键字的方式来指定参数2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

参数介绍：

group参数未使用，值始终为None

target表示调用对象，即子进程要执行的任务，即函数名不能带括号

args表示调用对象的位置参数元组，args=(1,2,'egon',)

kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}

name为子进程的名称

p.start()：启动进程，并调用该子进程中的p.run()

p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法

p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁

p.is_alive():如果p仍然运行，返回True

p.join([timeout]):主线程等待p终止(强调：是主线程处于等的状态，而p是处于运行的状态)。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

方法介绍

p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置

p.name:进程的名称

p.pid：进程的pid

p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)

p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功(了解即可)

属性介绍

在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制)，在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来，import 的时候，就不会递归运行了。

在windows中使用的注意事项

使用process模块创建进程

注意：在windows中Process()必须放到# if __name__ == '__main__':下，详情请看上面windows中使用的注意事项。

importtimefrom multiprocessing importProcessdeff(name):print('hello', name)print('我是子进程')if __name__ == '__main__':

p= Process(target=f, args=('bob',))

p.start()

time.sleep(1)print('执行主进程的内容了')

创建进程法一

from multiprocessing importProcessimporttime#方式二:

classMyProcess(Process):def __init__(self,name):

self.name=name

super().__init__()def run(self): #必须定义一个run方法

print('%s is runing' %(self.name))

time.sleep(3)print('%s is done' %(self.name))if __name__ == '__main__':

p= MyProcess('太白金星')

p.start()print('===主')

创建进程法二

importosfrom multiprocessing importProcessdeff(x):print('子进程id ：',os.getpid(),'父进程id ：',os.getppid())return x*xif __name__ == '__main__':print('主进程id ：', os.getpid())

p_lst=[]for i in range(5):

p= Process(target=f, args=(i,))

p.start()

查看进程号(pid)

运行多个进程的注意事项

from multiprocessing importProcessimporttime, os#情况一：

deffunc(name):print('hello %s'%name)

time.sleep(1)if __name__ == '__main__':for i in range(5):

p= Process(target=func, args=('bob',))

p.start()

p.join()#作用：感知进程结束。假如不加上join方法试试，那么子进程在父进程运行结束之后才运行结束

#而有的时候我们不想要这种结果，n那么join就用上了，但是是直接放在for中用吗，我们可以再试试

#如果直接放在for里面用的话，那么就和串行没什么区别了

#更高端的操作就在下方

print('父进程在执行')#def func(*args):#with open(args[0], "w", encoding="utf-8") as fw:#fw.write(args[1] * 10 * "*")#

#if __name__ == "__main__":#t_list = []#for i in range(5):#t = Process(target=func, args=("test%s"%i, i))#t_list.append(t) # 将每个进程都放在列表中，之后就实现并发之后，用for统一进行关闭#t.start()#[t.join() for t in t_list] # 列表推导式，相当于for t in t_list: t.join();这里代表子进程都结束了之后，才会执行主进程#print([i for i in os.walk(r"F:\Pycharm 2017\Program_PyCharm\Python123\09Week")]) # os.walk(path)查看该路径下所有的文件

join使用注意(多进程)

进程之间的数据隔离问题

from multiprocessing importProcessdefwork():globaln

n=0print('子进程内:',n)if __name__ == '__main__':

n= 100p=Process(target=work)

p.start()print('主进程内:',n)

隔离问题

守护进程

会随着主进程的结束而结束。

主进程创建守护进程

其一：守护进程会在主进程代码执行结束后就终止

其二：守护进程内无法再开启子进程,否则抛出异常：AssertionError: daemonic processes are not allowed to have children

注意：进程之间是互相独立的，主进程代码运行结束，守护进程随即终止

#主进程的代码结束了，那么守护进程就也结束了，他不管其他的进程是不是结束了

importtimefrom multiprocessing importProcessdeffunc():whileTrue:

time.sleep(0.5)print("running...")if __name__ == "__main__":

p= Process(target=func)

p.daemon= True #将子进程设置为守护进程

p.start()print(p.is_alive()) #判断p进程是不是活着的了

p.terminate() #结束一个子进程

time.sleep(2) #加上一个sleep之后，系统回收完了之后，会返回False

print(p.is_alive()) #在用p.terminate()结束一个进程时，不会立马结束，所以返回True，因为系统需要回收

print(p.name) #打印进程的名字

i =0while i < 10:print("主进程running...")

time.sleep(1)

i+= 1

守护进程

socket聊天并发实例

from socket import *

from multiprocessing importProcess

server=socket(AF_INET,SOCK_STREAM)

server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)

server.bind(('127.0.0.1',8080))

server.listen(5)deftalk(conn,client_addr):whileTrue:try:

msg=conn.recv(1024)if not msg:breakconn.send(msg.upper())exceptException:break

if __name__ == '__main__': #windows下start进程一定要写到这下面

whileTrue:

conn,client_addr=server.accept()

p=Process(target=talk,args=(conn,client_addr))

p.start()

使用多进程实现socket聊天并发-server

from socket import *client=socket(AF_INET,SOCK_STREAM)

client.connect(('127.0.0.1',8080))whileTrue:

msg=input('>>:').strip()if not msg:continueclient.send(msg.encode('utf-8'))

msg=client.recv(1024)print(msg.decode('utf-8'))

client端

多进程中的其他方法

from multiprocessing importProcessimporttimeimportrandomclassMyprocess(Process):def __init__(self,person):

self.name=person

super().__init__()defrun(self):print('%s正在和网红脸聊天' %self.name)

time.sleep(random.randrange(1,5))print('%s还在和网红脸聊天' %self.name)

p1=Myprocess('哪吒')

p1.start()

p1.terminate()#关闭进程,不会立即关闭,所以is_alive立刻查看的结果可能还是存活

print(p1.is_alive()) #结果为True

print('开始')print(p1.is_alive()) #结果为False

进程对象的其他方法:terminate,is_alive

classMyprocess(Process):def __init__(self,person):

self.name=person #name属性是Process中的属性，标示进程的名字

super().__init__() #执行父类的初始化方法会覆盖name属性

#self.name = person # 在这里设置就可以修改进程名字了

#self.person = person #如果不想覆盖进程名，就修改属性名称就可以了

defrun(self):print('%s正在和网红脸聊天' %self.name)#print('%s正在和网红脸聊天' %self.person)

time.sleep(random.randrange(1,5))print('%s正在和网红脸聊天' %self.name)#print('%s正在和网红脸聊天' %self.person)

p1=Myprocess('哪吒')

p1.start()print(p1.pid) #可以查看子进程的进程id

进程对象的其他属性:pid和name

进程数据

锁———multiprocess.Lock

通过刚刚的学习，我们千方百计实现了程序的异步，让多个任务可以同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源，但是也给我们带来了新的问题。

当多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题。

importosimporttimeimportrandomfrom multiprocessing importProcessdefwork(n):print('%s: %s is running' %(n,os.getpid()))

time.sleep(random.random())print('%s:%s is done' %(n,os.getpid()))if __name__ == '__main__':for i in range(3):

p=Process(target=work,args=(i,))

p.start()

多进程抢占输出资源

#由并发变成了串行,牺牲了运行效率,但避免了竞争

importosimporttimeimportrandomfrom multiprocessing importProcess,Lockdefwork(lock,n):

lock.acquire()print('%s: %s is running' %(n, os.getpid()))

time.sleep(random.random())print('%s: %s is done' %(n, os.getpid()))

lock.release()if __name__ == '__main__':

lock=Lock()for i in range(3):

p=Process(target=work,args=(lock,i))

p.start()

使用锁维护执行顺序

上面这种情况虽然使用加锁的形式实现了顺序的执行，但是程序又重新变成串行了，这样确实会浪费了时间，却保证了数据的安全。

接下来，我们以模拟抢票为例，来看看数据安全的重要性。

from multiprocessing importProcess, Lockimporttime, json#首先先有一个文件，存放余票的数目 ticket#注意：在购买票的时候要模拟网络延迟，因为如果没有延迟的话，程序没有堵塞就会一直运行下去#模拟完了之后，就是加上锁的时候了

defticket_show():

with open("ticket", "r") as fr:

date=json.load(fr)print("余票为：\033[31;1m[%s]\033[0m"%date["ticket"])defticket_shop(name, lock):

lock.acquire()#因为进来的时候门上时候锁的，所以在进来的时候首先要拿一把钥匙，之后门又锁上了，别的进程就进不来了

with open("ticket", "r") as fr:

date=json.load(fr)

time.sleep(0.1) #模拟网络延迟

if date["ticket"] !=0:

date["ticket"] -= 1

print("\033[31;1m[%s]\033[0m购票成功"%name)else:print("票买完了。。。")

time.sleep(0.1) #模拟网络延迟

with open("ticket", "w") as fw:

json.dump(date, fw)

lock.release()#在退出的时候要记得吧钥匙归还

if __name__ == "__main__":for i in range(10):

p= Process(target=ticket_show)

p.start()

lock= Lock() #申请一把锁

for i in range(10):

p= Process(target=ticket_shop, args=("num_%s"%i, lock, )) #将锁作为参数传进去

p.start()

抢购余票

#加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。

虽然可以用文件共享数据实现进程间通信，但问题是：1.效率低(共享数据基于文件，而文件是硬盘上的数据)2.需要自己加锁处理#因此我们最好找寻一种解决方案能够兼顾：1、效率高(多个进程共享一块内存的数据)2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制：队列和管道。

队列和管道都是将数据存放于内存中

队列又是基于(管道+锁)实现的，可以让我们从复杂的锁问题中解脱出来，

我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。

进程之间的通信———队列(multiprocess.Queue)

进程间通信

IPC(Inter-Process Communication)

队列

创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

Queue([maxsize])

创建共享的进程队列。

参数：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。

底层队列使用管道和锁定实现。

Queue([maxsize])

创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管道中。

Queue的实例q具有以下方法：

q.get( [ block [ ,timeout ] ] )

返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。

q.get_nowait( )

同q.get(False)方法。

q.put(item [, block [,timeout ] ] )

将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。

q.qsize()

返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。

q.empty()

如果调用此方法时 q为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。

q.full()

如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的(参考q.empty()方法)。。

方法介绍

q.close()

关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get()操作上，关闭生产者中的队列不会导致get()方法返回错误。

q.cancel_join_thread()

不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

q.join_thread()

连接队列的后台线程。此方法用于在调用q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。

其他方法(了解)

'''multiprocessing模块支持进程间通信的两种主要形式:管道和队列

都是基于消息传递实现的,但是队列接口'''

from multiprocessing importQueue

q=Queue(3)#put ,get ,put_nowait,get_nowait,full,empty

q.put(3)

q.put(3)#q.put(3) # 如果队列已经满了，程序就会停在这里，等待数据被别人取走，再将数据放入队列。

#如果队列中的数据一直不被取走，程序就会永远停在这里。

try:

q.put_nowait(3) #可以使用put_nowait，如果队列满了不会阻塞，但是会因为队列满了而报错。

except: #因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去，但是会丢掉这个消息。

print('队列已经满了')#因此，我们再放入数据之前，可以先看一下队列的状态，如果已经满了，就不继续put了。

print(q.full()) #满了

print(q.get())print(q.get())print(q.get())#print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。

try:

q.get_nowait(3) #可以使用get_nowait，如果队列满了不会阻塞，但是会因为没取到值而报错。

except: #因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。

print('队列已经空了')print(q.empty()) #空了

单看队列用法

importtimefrom multiprocessing importProcess, Queuedeff(q):

q.put([time.asctime(),'from Eva', 'hello']) #调用主函数中p进程传递过来的进程参数 put函数为向队列中添加一条数据。

if __name__ == '__main__':

q= Queue() #创建一个Queue对象

p = Process(target=f, args=(q,)) #创建一个进程

p.start()print(q.get())

p.join()

子进程发送数据给父进程

importosimporttimeimportmultiprocessing#向queue中输入数据的函数

definputQ(queue):

info= str(os.getpid()) + '(put):' +str(time.asctime())

queue.put(info)#向queue中输出数据的函数

defoutputQ(queue):

info=queue.get()print ('%s%s\033[32m%s\033[0m'%(str(os.getpid()), '(get):',info))#Main

if __name__ == '__main__':

multiprocessing.freeze_support()

record1= [] #store input processes

record2 = [] #store output processes

queue = multiprocessing.Queue(3)#输入进程

for i in range(10):

process= multiprocessing.Process(target=inputQ,args=(queue,))

process.start()

record1.append(process)#输出进程

for i in range(10):

process= multiprocessing.Process(target=outputQ,args=(queue,))

process.start()

record2.append(process)for p inrecord1:

p.join()for p inrecord2:

p.join()

批量生产数据放入队列再批量获取结果 x

生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

基于队列实现生产者消费者模型

from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(10):

time.sleep(random.randint(1,3))

res='包子%s' %i

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':

q=Queue()#生产者们:即厨师们

p1=Process(target=producer,args=(q,))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))#开始

p1.start()

c1.start()print('主')

基于队列实现生产者消费者模型

from multiprocessing importProcess, Queueimporttime, randomdef producer(name, food, q): #生产者

for i in range(4):

f= "\033[31m[%s]\033[0m生产了%s\033[32m[%s]\033[0m"%(name, food, i)print(f)

q.put(f)

time.sleep(random.randint(1, 3)) #随机sleep1到3秒

def consumer(name, q): #消费者

whileTrue:

f=q.get()if f isNone:print("\033[35m[%s]\033[0m得到了None..."%name)break

print("\033[33m[%s]\033[0m吃掉了%s"%(name, f))

time.sleep(random.randint(1, 3)) #随机sleep1到3秒

if __name__ == "__main__":

q= Queue(20)

p1= Process(target=producer, args=("慧子", "包子", q))

p2= Process(target=producer, args=("吴笑", "馒头", q))

c1= Process(target=consumer, args=("李四", q))

c2= Process(target=consumer, args=("王五", q))

c1.start()

c2.start()

p1.start()

p2.start()

p1.join()#感知进程p1是否结束

p2.join()

q.put(None)#如果p1结束了，则put进去一个None，通知consumer结束，如果有多个

#消费者，则需要多个None，因为进程之间获取的队列里的值是不一样的

#如果没有多个None，则会是，有的进程结束了，而有的进程还卡在q.get()哪里

q.put(None)

改良版

但上述解决方式，在有多个生产者和多个消费者时，我们则需要用一个很low的方式去解决，就是在主进程后面加上p.put(None),太low了。

下面这个模块可以解决这个问题：

JoinableQueue([maxsize])

创建可连接的共享进程队列。这就像是一个Queue对象，但队列允许项目的使用者通知生产者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的。

JoinableQueue的实例p除了与Queue对象相同的方法之外，还具有以下方法：

q.task_done()

使用者使用此方法发出信号，表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量，将引发ValueError异常。

q.join()

生产者将使用此方法进行阻塞，直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。

下面的例子说明如何建立永远运行的进程，使用和处理队列上的项目。生产者将项目放入队列，并等待它们被处理。

方法介绍

from multiprocessing importProcess, JoinableQueueimporttime, random#而使用JoinableQueue这个模块，解决了不用起多少个consumer，就要put多少次这个问题#直接使用q.join 和 q.task_done,这两个方法还有子进程与主进程之间的关系，来控制进程的结束与否#q.join：表示感知这个进程中的数据是否处理完毕，通过q.task_done实现的#q.task_done：表示每处理一个数据，其中的count就会减1

def producer(name, food, q): #生产者

for i in range(4):

f= "\033[31m[%s]\033[0m生产了%s\033[32m[%s]\033[0m"%(name, food, i)print(f)

q.put(f)

time.sleep(random.randint(1, 3)) #随机sleep1到3秒

q.join() #q.join()是指感知这个队列中的数据被处理完毕，该进程就被结束了

#而这里进程结束，也就代表p1.join()结束，即自动中断守护进程c1、c2。

def consumer(name, q): #消费者

whileTrue:

f=q.get()print("\033[33m[%s]\033[0m吃掉了%s"%(name, f))

time.sleep(random.randint(1, 3)) #随机sleep1到3秒

q.task_done() #这里是指，队列被取出来了数据之后，q.task_done()中的count也被自动减掉数据的个数

if __name__ == "__main__":

q= JoinableQueue(20)

p1= Process(target=producer, args=("慧子", "包子", q))

p2= Process(target=producer, args=("吴笑", "馒头", q))

c1= Process(target=consumer, args=("李四", q))

c2= Process(target=consumer, args=("王五", q))

c1.daemon= True #设置c1、c2是守护进程，其作用是：当当前主进程结束后，也就是 p2.join()、 p1.join()

#子进程也自动结束了

c2.daemon =True

c1.start()

c2.start()

p1.start()

p2.start()

p1.join()#感知进程p1是否结束

p2.join()

最终版

进程之间的数据共享———Manager

展望未来，基于消息传递的并发编程是大势所趋

即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。

这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。

但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。

以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。

进程间数据是独立的，可以借助于队列或管道实现通信，二者都是基于消息传递的

虽然进程间数据独立，但可以通过Manager实现数据共享，事实上Manager的功能远不止于此

A manager object returned by Manager() controls a server process which holds Python objectsandallows other processes to manipulate them using proxies.

A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Valueand Array.

Manager模块介绍

from multiprocessing importManager,Process,Lockdefwork(d,lock):

with lock:#不加锁而操作共享的数据,肯定会出现数据错乱

d['count']-=1

if __name__ == '__main__':

lock=Lock()

with Manager() as m:

dic=m.dict({'count':100})

p_l=[]for i in range(100):

p=Process(target=work,args=(dic,lock))

p_l.append(p)

p.start()for p inp_l:

p.join()print(dic)

Manager例子

进程池和multiprocess.Pool模块

一般开进程池里面的进程数是cpu数加一

为什么要有进程池?进程池的概念。

在程序实际处理问题过程中，忙时会有成千上万的任务需要被执行，闲时可能只有零星任务。那么在成千上万个任务需要被执行的时候，我们就需要去创建成千上万个进程么？首先，创建进程需要消耗时间，销毁进程也需要消耗时间。第二即便开启了成千上万的进程，操作系统也不能让他们同时执行，这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程。那么我们要怎么做呢？

在这里，要给大家介绍一个进程池的概念，定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行。这样不会增加操作系统的调度难度，还节省了开闭进程的时间，也一定程度上能够实现并发效果。

概念介绍

Pool([numprocess [,initializer [, initargs]]]):创建进程池

1numprocess:要创建的进程数，如果省略，将默认使用cpu_count()的值2initializer：是每个工作进程启动时要执行的可调用对象，默认为None3 initargs：是要传给initializer的参数组

参数介绍

p.apply(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。'''需要强调的是：此操作并不会在所有池工作进程中并执行func函数。如果要通过不同参数并发地执行func函数，必须从不同线程调用p.apply()函数或者使用p.apply_async()'''p.apply_async(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。'''此方法的结果是AsyncResult类的实例，callback是可调用对象，接收输入参数。当func的结果变为可用时，将理解传递给callback。callback禁止执行任何阻塞操作，否则将接收其他异步操作中的结果。'''p.close():关闭进程池，防止进一步操作。如果所有操作持续挂起，它们将在工作进程终止前完成

P.jion():等待所有工作进程退出。此方法只能在close()或teminate()之后调用

主要方法

方法apply_async()和map_async()的返回值是AsyncResul的实例obj。实例具有以下方法

obj.get():返回结果，如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发。

obj.ready():如果调用完成，返回True

obj.successful():如果调用完成且没有引发异常，返回True，如果在结果就绪之前调用此方法，引发异常

obj.wait([timeout]):等待结果变为可用。

obj.terminate()：立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收，将自动调用此函数

其他方法(了解)

实例

进程池和多进程效率对比

from multiprocessing importPool, Processimporttime'''通过这个测试可以知道，进程池和多进程之间的时间差异是有多大了

map 异步自带close 和 join 、返回值是所有结果的列表'''

deffunc(i):print("running func %s..."%i)if __name__ == "__main__":

start=time.time()

p= Pool(5)

p.map(func, range(100))

end_time= time.time() -start

start=time.time()

p_lst=[]for i in range(100):

p= Process(target=func, args=(i, ))

p_lst.append(p)

p.start()for p inp_lst : p.join()print(end_time, time.time() - start)

测试

同步和异步

importos,timefrom multiprocessing importPooldefwork(n):print('%s run' %os.getpid())

time.sleep(3)return n**2

if __name__ == '__main__':

p=Pool(3) #进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务

res_l=[]for i in range(10):

res=p.apply(work,args=(i,)) #同步调用，直到本次任务执行完毕拿到res，等待任务work执行的过程中可能有阻塞也可能没有阻塞

#但不管该任务是否存在阻塞，同步调用都会在原地等着

print(res_l)

进程池的同步调用

importosimporttimeimportrandomfrom multiprocessing importPooldefwork(n):print('%s run' %os.getpid())

time.sleep(random.random())return n**2

if __name__ == '__main__':

p=Pool(3) #进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务

res_l=[]for i in range(10):

res=p.apply_async(work,args=(i,)) #异步运行，根据进程池中有的进程数，每次最多3个子进程在异步执行

#返回结果之后，将结果放入列表，归还进程，之后再执行新的任务

#需要注意的是，进程池中的三个进程不会同时开启或者同时结束

#而是执行完一个就释放一个进程，这个进程就去接收新的任务。

res_l.append(res)#异步apply_async用法：如果使用异步提交的任务，主进程需要使用jion，等待进程池内任务都处理完，然后可以用get收集结果

#否则，主进程结束，进程池可能还没来得及执行，也就跟着一起结束了

p.close()

p.join()for res inres_l:print(res.get()) #使用get来获取apply_aync的结果,如果是apply,则没有get方法,因为apply是同步执行,立刻获取结果,也根本无需get

进程池的异步调用

进程池版socket

importsocketfrom multiprocessing importPooldeffunc(conn):

conn.send(b"hello")whileTrue:

res= conn.recv(1024).decode("utf-8")print(res)

conn.close()if __name__ == "__main__":

server=socket.socket()

server.bind(("localhost", 9696))

server.listen()

p= Pool(5)whileTrue:

conn, addr=server.accept()

p.apply_async(func=func, args=(conn, ))

server.close()

server

importsocket

client= socket.socket() #建立一个socket连接

client.connect(("localhost", 9696))

res= client.recv(1024).decode("utf-8")print(res)whileTrue:

meg= input(">>:").strip().encode("utf-8")

client.send(meg)

client

发现：并发开启多个客户端，服务端同一时间只有4个不同的pid，只能结束一个客户端，另外一个客户端才会进来.

返回值

from multiprocessing importPool, Processimporttimedeffunc(n):

time.sleep(0.5)return n *n#Pool.apply()#if __name__ == "__main__":#p = Pool(5)#for i in range(10):#res = p.apply(func=func, args=(i, ))#print(res) # 这是同步执行的

#Pool.apply_async()#if __name__ == "__main__":#p = Pool(5)#for i in range(10):#res = p.apply_async(func=func, args=(i, ))#print(res.get(), type(res)) # 也是同步执行

#if __name__ == "__main__":#p = Pool(5)#p_lst = []#for i in range(10):#res = p.apply_async(func=func, args=(i, ))#p_lst.append(res)#for res in p_lst: print(res.get(), type(res)) # 这里才是异步的

if __name__ == "__main__":

p= Pool(5)

res= p.map(func=func, iterable=range(10))print(res) #这里是将全部的都执行好了之后，才一起打印出来的，相比于上面的apply_async有些差别

例子

回调函数

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间(阻塞)的任务放到进程池中，然后指定回调函数(主进程负责执行)，这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

from multiprocessing importPoolimportrequestsimportjsonimportosdefget_page(url):print(' get %s' %(os.getpid(),url))

respone=requests.get(url)if respone.status_code == 200:return {'url':url,'text':respone.text}defpasrse_page(res):print(' parse %s' %(os.getpid(),res['url']))

parse_res='url: size:[%s]\n' %(res['url'],len(res['text']))

with open('db.txt','a') as f:

f.write(parse_res)if __name__ == '__main__':

urls=['https://www.baidu.com','https://www.python.org','https://www.openstack.org','https://help.github.com/','http://www.sina.com.cn/']

p=Pool(3)

res_l=[]for url inurls:

res=p.apply_async(get_page,args=(url,),callback=pasrse_page)

res_l.append(res)

p.close()

p.join()print([res.get() for res in res_l]) #拿到的是get_page的结果,其实完全没必要拿该结果,该结果已经传给回调函数处理了

'''打印结果:

get https://www.baidu.com

get https://www.python.org

get https://www.openstack.org

get https://help.github.com/

parse https://www.baidu.com

get http://www.sina.com.cn/

parse https://www.python.org

parse https://help.github.com/

parse http://www.sina.com.cn/

parse https://www.openstack.org

[{'url': 'https://www.baidu.com', 'text': '\r\n...',...}]'''

使用多进程请求多个url来减少网络等待浪费的时间

'''进程池

apply:同步进程池

假设只是用同步进程池的时候则不需要必须使用p.join(),但是使用异步进程池的时候则必须要使用p,join

只有当func执行完毕之后，才会继续向下执行其他代码

res = apply(func, args= ())

返回值就是func的return

apply_async:异步进程池

如果在使用异步进程池的时候没有加p.join 那么程序在运行完主进程之后，进程池就会关闭，这时候子进程

也将会关闭，有点类似守护进程

而p.join的防止位置也是有特殊位置的，就是必须要放在p.close()后面，不然会报错

当func被注册进入一个进程之后，程序才会继续向下执行

apply_async(func, args= ())

返回值：apply_async返回的对象obj

为了用户能从中获取func的返回值obj.get()

get会阻塞直到对应的func执行完毕拿到结果

使用apply_async给进程池分配任务，需要先close后join来保持多进程和主进程代码的同步性

回调函数：回调函数就是在相关进程执行结束的时候被调用的，有点类似于c++中的析构函数，但是有所奇怪的是

该函数是由主进程调用的，而并非相关的子进程调用的，可以通过os.getpid()函数进行查询该函数的pid

是否和主进程的pid一致

回调函数是由主进程调用的

一般在爬虫的时候用到回调函数

解决：回调函数的参数就是func= 那个函数的返回值，其他没有什么方法传入参数'''

from multiprocessing importPoolimporttime, os, randomdeffunc(i):

time.sleep(random.randint(1,3))print("func%s_pid:\033[31m[%s]\033[0m"%(i, os.getpid()))defending(i):print("-->num:",i)print("-->exec done:", os.getpid())if __name__ == "__main__":

p= Pool(5)print("主进程pid:",os.getpid())for i in range(20):#p.apply(func=func, args=(i, ))

p.apply_async(func=func, args=(i, ), callback=ending)print("end")

p.close()

p.join()

小小总结

importrefrom urllib.request importurlopenfrom multiprocessing importPooldefget_page(url,pattern):

response=urlopen(url).read().decode('utf-8')returnpattern,responsedefparse_page(info):

pattern,page_content=info

res=re.findall(pattern,page_content)for item inres:

dic={'index':item[0].strip(),'title':item[1].strip(),'actor':item[2].strip(),'time':item[3].strip(),

}print(dic)if __name__ == '__main__':

regex= r'