并行 : 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；(资源够用，比如三个线程，四核的CPU )
并发 : 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。
区别:
并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。
并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。
同步异步阻塞非阻塞
状态介绍
在了解其他概念之前，我们首先要了解进程的几个状态。在程序运行的过程中，由于被操作系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。
(1)就绪(Ready)状态
当进程已分配到除CPU以外的所有必要的资源，只要获得处理机便可立即执行，这时的进程状态称为就绪状态。
(2)执行/运行(Running)状态当进程已获得处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。
(3)阻塞(Blocked)状态正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。
同步和异步
所谓同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成，这是一种可靠的任务序列。要么成功都成功，失败都失败，两个任务的状态可以保持一致。
所谓异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了。至于被依赖的任务最终是否真正完成，依赖它的任务无法确定，所以它是不可靠的任务序列。
同步---->>>>串行
异步---->>>>并行
阻塞与非阻塞
阻塞和非阻塞这两个概念与程序(线程)等待消息通知(无所谓同步或者异步)时的状态有关。也就是说阻塞与非阻塞主要是程序(线程)等待消息通知时的状态角度来说的
同步/异步与阻塞/非阻塞
同步阻塞形式
效率最低。拿上面的例子来说，就是你专心排队，什么别的事都不做。
异步阻塞形式
如果在银行等待办理业务的人采用的是异步的方式去等待消息被触发(通知)，也就是领了一张小纸条，假如在这段时间里他不能离开银行做其它的事情，那么很显然，这个人被阻塞在了这个等待的操作上面；
异步操作是可以被阻塞住的，只不过它不是在处理消息时阻塞，而是在等待消息通知时被阻塞。
同步非阻塞形式
实际上是效率低下的。
想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有，如果把打电话和观察排队的位置看成是程序的两个操作的话，这个程序需要在这两种不同的行为之间来回的切换，效率可想而知是低下的。
异步非阻塞形式
效率更高，
因为打电话是你(等待者)的事情，而通知你则是柜台(消息触发机制)的事情，程序没有在两种不同的操作中来回切换。
比如说，这个人突然发觉自己烟瘾犯了，需要出去抽根烟，于是他告诉大堂经理说，排到我这个号码的时候麻烦到外面通知我一下，那么他就没有被阻塞在这个等待的操作上面，自然这个就是异步+非阻塞的方式了。
很多人会把同步和阻塞混淆，是因为很多时候同步操作会以阻塞的形式表现出来，同样的，很多人也会把异步和非阻塞混淆，因为异步操作一般都不会在真正的IO操作处被阻塞。
进程的创建与结束
进程的创建
但凡是硬件，都需要有操作系统去管理，只要有操作系统，就有进程的概念，就需要有创建进程的方式，一些操作系统只为一个应用程序设计，比如微波炉中的控制器，一旦启动微波炉，所有的进程都已经存在。
而对于通用系统(跑很多应用程序)，需要有系统运行过程中创建或撤销进程的能力，主要分为4中形式创建新的进程：
1. 系统初始化(查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台并且只在需要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印)
2. 一个进程在运行过程中开启了子进程(如nginx开启多进程，os.fork,subprocess.Popen等)
3. 用户的交互式请求，而创建一个新进程(如用户双击暴风影音)
4. 一个批处理作业的初始化(只在大型机的批处理系统中应用)
无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。
1. 在UNIX中该系统调用是：fork，fork会创建一个与父进程一模一样的副本，二者有相同的存储映像、同样的环境字符串和同样的打开文件(在shell解释器进程中，执行一个命令就会创建一个子进程)2. 在windows中该系统调用是：CreateProcess，CreateProcess既处理进程的创建，也负责把正确的程序装入新进程。
关于创建子进程，UNIX和windows1.相同的是：进程创建后，父进程和子进程有各自不同的地址空间(多道技术要求物理层面实现进程之间内存的隔离)，任何一个进程的在其地址空间中的修改都不会影响到另外一个进程。2.不同的是：在UNIX中，子进程的初始地址空间是父进程的一个副本，提示：子进程和父进程是可以有只读的共享内存区的。但是对于windows系统来说，从一开始父进程与子进程的地址空间就是不同的。
创建进程
进程的结束
1. 正常退出(自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess)
2. 出错退出(自愿，python a.py中a.py不存在)
3. 严重错误(非自愿，执行非法指令，如引用不存在的内存，1/0等，可以捕捉异常，try...except...)
4. 被其他进程杀死(非自愿，如kill -9)
在python程序中的进程操作
之前我们已经了解了很多进程相关的理论知识，了解进程是什么应该不再困难了，刚刚我们已经了解了，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实现创建进程这个功能，所以我们就需要借助python中强大的模块。
multiprocess模块
仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。
multiprocess.process模块
process模块介绍
process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。
Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务(尚未启动)
强调：1. 需要使用关键字的方式来指定参数2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号
参数介绍：1group参数未使用，值始终为None2target表示调用对象，即子进程要执行的任务3 args表示调用对象的位置参数元组，args=(1,2,'egon',)4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}5 name为子进程的名称
1p.start()：启动进程，并调用该子进程中的p.run()2p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法3p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁4p.is_alive():如果p仍然运行，返回True5 p.join([timeout]):主线程等待p终止(强调：是主线程处于等的状态，而p是处于运行的状态)。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程
方法介绍
1p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置2p.name:进程的名称3p.pid：进程的pid4p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功(了解即可)
属性
在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制)，在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来，import 的时候 ，就不会递归运行了。
注意
使用process模块创建进程
在一个python进程中开启子进程，start方法和并发效果。
importtimefrom multiprocessing importProcessdeff(name):print('hello', name)print('我是子进程')if __name__ == '__main__':
p= Process(target=f, args=('bob',))
p.start()#交由操作系统,创建子进程
time.sleep(1)print('执行主进程的内容了')
创建启动进程
importtimefrom multiprocessing importProcessdeff(name):print('hello', name)
time.sleep(1)print('我是子进程')if __name__ == '__main__':
p= Process(target=f, args=('bob',))
p.start()#p.join() #join阻塞 直到子进程执行完毕后再执行主进程
print('我是父进程')
join阻塞
importosfrom multiprocessing importProcessdeff(x):print('子进程id ：',os.getpid(),'父进程id ：',os.getppid())return x*xif __name__ == '__main__':print('主进程id ：', os.getpid())
p_lst=[]for i in range(5):
p= Process(target=f, args=(i,))
p.start()#引入os模块 os.getpid()为子进程 id os.getppid()为父进程 id
查看进程号
进阶，多个进程同时运行(注意，子进程的执行顺序不是根据启动顺序决定的)
importtimefrom multiprocessing importProcessdeff(name):print('hello', name)
time.sleep(1)if __name__ == '__main__':
p_lst=[]for i in range(5):
p= Process(target=f, args=('bob',))
p.start()
p_lst.append(p)
多个进程同时运行
importtimefrom multiprocessing importProcessdeff(name):print('hello', name)
time.sleep(1)if __name__ == '__main__':
p_lst=[]for i in range(5):
p= Process(target=f, args=('bob',))
p.start()
p_lst.append(p)
p.join()#[p.join() for p in p_lst]
print('父进程在执行')
多进程同时运行与join方法
除了上面这些开启进程的方法，还有一种以继承Process类的形式开启进程的方式
importosfrom multiprocessing importProcessclassMyProcess(Process):def __init__(self,name):
super().__init__()
self.name=namedefrun(self):print(os.getpid())print('%s 正在和女主播聊天' %self.name)
p1=MyProcess('wupeiqi')
p2=MyProcess('yuanhao')
p3=MyProcess('nezha')
p1.start()#start会自动调用run
p2.start()#p2.run()
p3.start()
p1.join()
p2.join()
p3.join()print('主线程')
通过继承process类开启进程
#class MyProcess(Process):#def __init__(self,num):#super().__init__()#self.num = num#def run(self):#print('in run ',self.num,os.getpid(),os.getppid())#
#if __name__ == '__main__':#print('in main ', os.getpid(), os.getppid())#p = MyProcess(1)#p.start()
面向对象开启进程
两个一样
进程之间的数据隔离问题------>>>>
from multiprocessing importProcess
n= 100
deffunc():globaln
n= n-1
return 111
if __name__ == '__main__':
n_l=[]for i in range(100):
p= Process(target=func)
p.start()
n_l.append(p)for p inn_l : p.join()print(n) 结果为100#进程与进程之间的数据是隔离的#内存空间是不能共享的#所以要想进行通信,必须借助其他手段#且这两个进程都是自愿的
#子进程的执行结果父进程获取不到#父进程依赖子进程的执行结果呢#父进程如何获取子进程的执行结果??? -->># 父子进程之间通过socket通信
守护进程---->>>
importtimefrom multiprocessing importProcess#例一#def func1():#print('begin')#time.sleep(3)#print('wahaha')
#if __name__ == '__main__':#p = Process(target=func1)#p.daemon = True## 守护进程的属性,默认是False,如果设置成True,就表示设置这个子进程为一个守护进程## 设置守护进程的操作应该在开启子进程之前#p.start()#
#time.sleep(1)#print('主进程')
#例二
deffunc1():print('begin')
time.sleep(3)print('wahaha')deffunc2():whileTrue:print('in func2')
time.sleep(0.5)if __name__ == '__main__':
Process(target=func1).start()
p= Process(target=func2)
p.daemon=True#守护进程的属性,默认是False,如果设置成True,就表示设置这个子进程为一个守护进程
#设置守护进程的操作应该在开启子进程之前
p.start()
time.sleep(1)print('主进程')#设置成守护进程之后 会有什么效果呢?#守护进程会在主进程的代码执行完毕之后直接结束,无论守护进程是否执行完毕
#应用
#报活 主进程还活着
#100台机器 100个进程 10000进程
#应用是否在正常工作 - 任务管理器来查看
#守护进程如何向监测机制报活???send/写数据库
#为什么要用守护进程来报活呢?为什么不用主进程来工作呢???
#守护进程报活几乎不占用CPU,也不需要操作系统去调度
#主进程能不能严格的每60s就发送一条信息
详解
会随着主进程的结束而结束。
主进程创建守护进程
其一：守护进程会在主进程代码执行结束后就终止
其二：守护进程内无法再开启子进程,否则抛出异常
注意：进程之间是互相独立的，主进程代码运行结束，守护进程随即终止
守护进程会在主进程执行完后直接结束,无论守护进程是否执行完毕.
原生socket实现多进程并发聊天
importsocketimportos
sk=socket.socket()
sk.connect(('127.0.0.1',9091))whileTrue:print(sk.recv(1024))
sk.send(str(os.getpid()).encode('utf-8'))
clinet
importsocketfrom multiprocessing importProcessdeftalk(conn):try:whileTrue:
conn.send(b'hello')print(conn.recv(1024))finally:
conn.close()if __name__ == '__main__':
sk=socket.socket()
sk.bind(('127.0.0.1',9091))
sk.listen()try:whileTrue:
conn,addr=sk.accept()
Process(target=talk,args=(conn,)).start()finally:
sk.close()
sever
多进程中的其他方法
from multiprocessing importProcessimporttimeimportrandomclassMyprocess(Process):def __init__(self,person):
self.name=person
super().__init__()defrun(self):print('%s正在和网红脸聊天' %self.name)
time.sleep(random.randrange(1,5))print('%s还在和网红脸聊天' %self.name)
p1=Myprocess('哪吒')
p1.start()
p1.terminate()#关闭进程,不会立即关闭,所以is_alive立刻查看的结果可能还是存活
print(p1.is_alive()) #结果为True
print('开始')print(p1.is_alive()) #结果为False
进程对象的其他方法:terminate,is_aliv
classMyprocess(Process):def __init__(self,person):
self.name=person #name属性是Process中的属性，标示进程的名字
super().__init__() #执行父类的初始化方法会覆盖name属性
#self.name = person # 在这里设置就可以修改进程名字了
#self.person = person #如果不想覆盖进程名，就修改属性名称就可以了
defrun(self):print('%s正在和网红脸聊天' %self.name)#print('%s正在和网红脸聊天' %self.person)
time.sleep(random.randrange(1,5))print('%s正在和网红脸聊天' %self.name)#print('%s正在和网红脸聊天' %self.person)
p1=Myprocess('哪吒')
p1.start()print(p1.pid) #可以查看子进程的进程id
进程对象的其他属性:pid和name
进程同步(multiprocess.Lock、multiprocess.Semaphore、multiprocess.Event)
锁 —— multiprocess.Lock
通过刚刚的学习，我们千方百计实现了程序的异步，让多个任务可以同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源，但是也给我们带来了新的问题。
当多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题。
importosimporttimeimportrandomfrom multiprocessing importProcessdefwork(n):print('%s: %s is running' %(n,os.getpid()))
time.sleep(random.random())print('%s:%s is done' %(n,os.getpid()))if __name__ == '__main__':for i in range(3):
p=Process(target=work,args=(i,))
p.start()#结果:0: 7392 is running
1: 13204 isrunning2: 10868 isrunning2:10868 isdone1:13204 isdone
0:7392 is done
多进程抢占输出资源
#由并发变成了串行,牺牲了运行效率,但避免了竞争
importosimporttimeimportrandomfrom multiprocessing importProcess,Lockdefwork(lock,n):
lock.acquire()print('%s: %s is running' %(n, os.getpid()))
time.sleep(random.random())print('%s: %s is done' %(n, os.getpid()))
lock.release()if __name__ == '__main__':
lock=Lock()for i in range(3):
p=Process(target=work,args=(lock,i))
p.start()#结果: 0: 3564 is running
0: 3564 isdone1: 5424 isrunning1: 5424 isdone2: 6352 isrunning2: 6352 is done
使用锁维护执行顺序
上面这种情况虽然使用加锁的形式实现了顺序的执行，但是程序又重新变成串行了，这样确实会浪费了时间，却保证了数据的安全。
接下来，我们以模拟抢票为例，来看看数据安全的重要性。
#文件db的内容为：{"count":1}#注意一定要用双引号，不然json无法识别#并发运行，效率高，但竞争写同一文件，数据写入错乱
from multiprocessing importProcess,Lockimporttime,json,randomdefsearch():
dic=json.load(open('db'))print('\033[43m剩余票数%s\033[0m' %dic['count'])defget():
dic=json.load(open('db'))
time.sleep(0.1) #模拟读数据的网络延迟
if dic['count'] >0:
dic['count']-=1time.sleep(0.2) #模拟写数据的网络延迟
json.dump(dic,open('db','w'))print('\033[43m购票成功\033[0m')deftask():
search()
get()if __name__ == '__main__':for i in range(100): #模拟并发100个客户端抢票
p=Process(target=task)
p.start()
不加锁的买票
from multiprocessing importLockfrom multiprocessing importProcess#锁#lock = Lock() # 创造了一把锁#lock.acquire() # 获取了这把锁的钥匙#lock.release() # 归还这把锁的钥匙
#抢票的例子#每个人都能#查看余票#买票
importjsonimporttimefrom multiprocessing importLockfrom multiprocessing importProcessdefsearch(i):
with open('db','r') as f:count_dic =json.load(f)
time.sleep(0.2)print('person %s 余票 : %s张'%(i,count_dic['count']))defbuy(i):
with open('db','r') as f:count_dic =json.load(f)
time.sleep(0.2)if count_dic['count'] >0:
count_dic['count'] -= 1
print('person %s 购票成功'%i)
time.sleep(0.2)
with open('db','w') as f:json.dump(count_dic,f)deftask(i,lock):
search(i)
lock.acquire()#如果之前已经被acquire了 且 没有被release 那么进程会在这里阻塞
buy(i)
lock.release()if __name__ == '__main__':
lock=Lock()for i in range(10):
p= Process(target=task,args=(i,lock))
p.start()#当多个进程共享一段数据的时候,数据会出现不安全的现象,#需要加锁来维护数据的安全性
lock=Lock()
lock.acquire()#拿钥匙
print(111)
lock.release()#还钥匙
lock.acquire() #阻塞
print(222)
加锁的版本
注意:拿了钥匙必须还,否则再拿的话会发生阻塞.
当多个进程共享一段数据的时候,数据会出现不安全现象
#加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信，但问题是：1.效率低(共享数据基于文件，而文件是硬盘上的数据)2.需要自己加锁处理#因此我们最好找寻一种解决方案能够兼顾：1、效率高(多个进程共享一块内存的数据)2、帮我们处理好锁问题。
这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制：队列和管道。
队列和管道都是将数据存放于内存中
队列又是基于(管道+锁)实现的，可以让我们从复杂的锁问题中解脱出来，
我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。
自己百度自行搜索下,或者看后边博客
信号量 —— multiprocess.Semaphore(了解)
互斥锁同时只允许一个线程更改数据，而信号量Semaphore是同时允许一定数量的线程更改数据 。
假设商场里有4个迷你唱吧，所以同时可以进去4个人，如果来了第五个人就要在外面等待，等到有人出来才能再进去玩。
实现：
信号量同步基于内部计数器，每调用一次acquire()，计数器减1；每调用一次release()，计数器加1.当计数器为0时，acquire()调用被阻塞。这是迪科斯彻(Dijkstra)信号量概念P()和V()的Python实现。信号量同步机制适用于访问像服务器这样的有限资源。
信号量与进程池的概念很像，但是要区分开，信号量涉及到加锁的概念
信号量介绍Semaphore
#from multiprocessing import Process#from multiprocessing import Semaphore # 信号量
#ktv#4个小房子
#10个人站在房子外面要进去玩儿
#sem = Semaphore(3)#sem.acquire()#print(1)#sem.acquire()#print(2)#sem.acquire()#print(3)#sem.release()#sem.acquire() # 阻塞#print(4)
importtimeimportrandomfrom multiprocessing importProcess,Semaphoredefktv(num,sem):
sem.acquire()print('person%s进入了ktv' %num)
time.sleep(random.randint(1,4))print('person%s走出了ktv' %num)
sem.release()if __name__ == '__main__':
sem= Semaphore(4)for i in range(10):
p= Process(target=ktv,args=(i,sem))
p.start()#信号量的本质
#多把钥匙对应一把锁
#lock+count计数
KTV应用实例
事件 —— multiprocess.Event(了解)
python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法 set、wait、clear。
事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为 False，那么当程序执行 event.wait 方法时就会阻塞，如果“Flag”值为True，那么event.wait 方法时便不再阻塞。
clear：将“Flag”设置为False
set：将“Flag”设置为Truefrom multiprocessing importEvent,Process#wait() 方法 等待
#阻塞 如果这个标志是False 那么就阻塞
#非阻塞 如果这个标志是True 那么就非阻塞#查看标志 is_set()#修改标志 set()将标志设置为True
#clear() 将标志设置为False#e = Event()#print(e.is_set()) # 在事件的创建之初 默认是False#e.set() # 将标志设置为True#print(e.is_set())#e.wait() # 相当于什么都没做pass#e.clear() # 将标志设置为False## e.wait() # 永远阻塞#e.wait(timeout=10) # 如果信号在阻塞10s之内变为True,那么不继续阻塞直接pass,
#如果就阻塞10s之后状态还是没变,那么继续,#print(e.is_set()) # 无论前面的wait的timeout是否通过,我的状态都不会因此改变
时间介绍
from multiprocessing importProcess, Eventimporttime, randomdefcar(e, n):whileTrue:if not e.is_set(): #进程刚开启，is_set()的值是Flase，模拟信号灯为红色
print('\033[31m红灯亮\033[0m，car%s等着' %n)
e.wait()#阻塞，等待is_set()的值变成True，模拟信号灯为绿色
print('\033[32m车%s 看见绿灯亮了\033[0m' %n)
time.sleep(random.randint(3, 6))if not e.is_set(): #如果is_set()的值是Flase，也就是红灯，仍然回到while语句开始
continue
print('车开远了,car', n)break
defpolice_car(e, n):whileTrue:if not e.is_set():#进程刚开启，is_set()的值是Flase，模拟信号灯为红色
print('\033[31m红灯亮\033[0m，car%s等着' %n)
e.wait(0.1) #阻塞，等待设置等待时间，等待0.1s之后没有等到绿灯就闯红灯走了
if note.is_set():print('\033[33m红灯,警车先走\033[0m，car %s' %n)else:print('\033[33;46m绿灯，警车走\033[0m，car %s' %n)break
deftraffic_lights(e, inverval):whileTrue:
time.sleep(inverval)ife.is_set():print('######', e.is_set())
e.clear()#---->将is_set()的值设置为False
else:
e.set()#---->将is_set()的值设置为True
print('***********',e.is_set())if __name__ == '__main__':
e=Event()for i in range(10):
p=Process(target=car,args=(e,i,)) #创建是个进程控制10辆车
p.start()for i in range(5):
p= Process(target=police_car, args=(e, i,)) #创建5个进程控制5辆警车
p.start()
t= Process(target=traffic_lights, args=(e, 10)) #创建一个进程控制红绿灯
t.start()print('============》')
红绿灯实例
#红绿灯模型#控制交通灯的进程
importtimeimportrandomdeftraffic_light(e):print('\033[1;31m 红灯亮\033[0m')whileTrue:
time.sleep(2)ife.is_set():print('\033[1;31m 红灯亮\033[0m')
e.clear()else:print('\033[1;32m 绿灯亮\033[0m')
e.set()#车 等或者通过
defcar(id,e):if note.is_set():print('car %s 等待' %id)
e.wait()print('car %s 通过'%id)defpolice_car(id,e):if note.is_set():
e.wait(timeout= 0.5)print('police car %s 通过' %id)#主进程 启动交通控制灯 启动车的进程
if __name__ == '__main__':
e=Event()
p= Process(target=traffic_light,args=(e,))
p.start()
car_lst=[car,police_car]for i in range(20):
p= Process(target=random.choice(car_lst), args=(i,e))
p.start()
time.sleep(random.randrange(0,3,2))
红绿灯实例2
进程间通信——队列和管道(multiprocess.Queue、multiprocess.Pipe)
进程间通信
IPC(Inter-Process Communication)
队列
概念介绍
创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。
Queue([maxsize])
创建共享的进程队列。
参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。
底层队列使用管道和锁定实现。
Queue([maxsize])
创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管道中。
Queue的实例q具有以下方法：
q.get( [ block [ ,timeout ] ] )
返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。
q.get_nowait( )
同q.get(False)方法。
q.put(item [, block [,timeout ] ] )
将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。
q.qsize()
返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。
q.empty()
如果调用此方法时 q为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。
q.full()
如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的(参考q.empty()方法)。。
队列方法介绍
q.close()
关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get()操作上，关闭生产者中的队列不会导致get()方法返回错误。
q.cancel_join_thread()
不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。
q.join_thread()
连接队列的后台线程。此方法用于在调用q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。
其他方法
代码实例
'''multiprocessing模块支持进程间通信的两种主要形式:管道和队列
都是基于消息传递实现的,但是队列接口'''
from multiprocessing importQueue
q=Queue(3)#put ,get ,put_nowait,get_nowait,full,empty
q.put(3)
q.put(3)
q.put(3)#q.put(3) # 如果队列已经满了，程序就会停在这里，等待数据被别人取走，再将数据放入队列。
#如果队列中的数据一直不被取走，程序就会永远停在这里。
try:
q.put_nowait(3) #可以使用put_nowait，如果队列满了不会阻塞，但是会因为队列满了而报错。
except: #因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去，但是会丢掉这个消息。
print('队列已经满了')#因此，我们再放入数据之前，可以先看一下队列的状态，如果已经满了，就不继续put了。
print(q.full()) #满了
print(q.get())print(q.get())print(q.get())#print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。
try:
q.get_nowait(3) #可以使用get_nowait，如果队列满了不会阻塞，但是会因为没取到值而报错。
except: #因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。
print('队列已经空了')print(q.empty()) #空了
单看队列用法
上面这个例子还没有加入进程通信，只是先来看看队列为我们提供的方法，以及这些方法的使用和现象。
importtimefrom multiprocessing importProcess, Queuedeff(q):
q.put([time.asctime(),'from Eva', 'hello']) #调用主函数中p进程传递过来的进程参数 put函数为向队列中添加一条数据。
if __name__ == '__main__':
q= Queue() #创建一个Queue对象
p = Process(target=f, args=(q,)) #创建一个进程
p.start()print(q.get())
p.join()
子进程发送数据给父进程
上面是一个queue的简单应用，使用队列q对象调用get函数来取得队列中最先进入的数据。 接下来看一个稍微复杂一些的例子：
importosimporttimeimportmultiprocessing#向queue中输入数据的函数
definputQ(queue):
info= str(os.getpid()) + '(put):' +str(time.asctime())
queue.put(info)#向queue中输出数据的函数
defoutputQ(queue):
info=queue.get()print ('%s%s\033[32m%s\033[0m'%(str(os.getpid()), '(get):',info))#Main
if __name__ == '__main__':
multiprocessing.freeze_support()
record1= [] #store input processes
record2 = [] #store output processes
queue = multiprocessing.Queue(3)#输入进程
for i in range(10):
process= multiprocessing.Process(target=inputQ,args=(queue,))
process.start()
record1.append(process)#输出进程
for i in range(10):
process= multiprocessing.Process(target=outputQ,args=(queue,))
process.start()
record2.append(process)for p inrecord1:
p.join()for p inrecord2:
p.join()
批量生产数据放入队列再批量获取结果
生产者消费者模型
在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
为什么要使用生产者和消费者模式
在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
什么是生产者消费者模式
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
基于队列实现生产者消费者模型
from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:
res=q.get()
time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(10):
time.sleep(random.randint(1,3))
res='包子%s' %i
q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':
q=Queue()#生产者们:即厨师们
p1=Process(target=producer,args=(q,))#消费者们:即吃货们
c1=Process(target=consumer,args=(q,))#开始
p1.start()
c1.start()print('主')
基于队列实现的生产者消费者模型
此时的问题是主进程永远不会结束，原因是：生产者p在生产完后就结束了，但是消费者c在取空了q之后，则一直处于死循环中且卡在q.get()这一步。
解决方式无非是让生产者在生产完毕后，往队列中再发一个结束信号，这样消费者在接收到结束信号后就可以break出死循环。
from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:
res=q.get()if res is None:break #收到结束信号则结束
time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(10):
time.sleep(random.randint(1,3))
res='包子%s' %i
q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))
q.put(None)#发送结束信号
if __name__ == '__main__':
q=Queue()#生产者们:即厨师们
p1=Process(target=producer,args=(q,))#消费者们:即吃货们
c1=Process(target=consumer,args=(q,))#开始
p1.start()
c1.start()print('主')
改良版——生产者消费者模型
注意：结束信号None，不一定要由生产者发，主进程里同样可以发，但主进程需要等生产者结束后才应该发送该信号
from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:
res=q.get()if res is None:break #收到结束信号则结束
time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(2):
time.sleep(random.randint(1,3))
res='包子%s' %i
q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':
q=Queue()#生产者们:即厨师们
p1=Process(target=producer,args=(q,))#消费者们:即吃货们
c1=Process(target=consumer,args=(q,))#开始
p1.start()
c1.start()
p1.join()
q.put(None)#发送结束信号
print('主')
主进程在生产者生产完毕后发送结束信号None
但上述解决方式，在有多个生产者和多个消费者时，我们则需要用一个很low的方式去解决
from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:
res=q.get()if res is None:break #收到结束信号则结束
time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(name,q):for i in range(2):
time.sleep(random.randint(1,3))
res='%s%s' %(name,i)
q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':
q=Queue()#生产者们:即厨师们
p1=Process(target=producer,args=('包子',q))
p2=Process(target=producer,args=('骨头',q))
p3=Process(target=producer,args=('泔水',q))#消费者们:即吃货们
c1=Process(target=consumer,args=(q,))
c2=Process(target=consumer,args=(q,))#开始
p1.start()
p2.start()
p3.start()
c1.start()
p1.join()#必须保证生产者全部生产完毕,才应该发送结束信号
p2.join()
p3.join()
q.put(None)#有几个消费者就应该发送几次结束信号None
q.put(None) #发送结束信号
print('主')
多个消费者的例子：有几个消费者就需要发送几次结束信号
JoinableQueue([maxsize])
创建可连接的共享进程队列。这就像是一个Queue对象，但队列允许项目的使用者通知生产者项目已经被成功处理。
通知进程是使用共享的信号和条件变量来实现的。
JoinableQueue的实例p除了与Queue对象相同的方法之外，还具有以下方法：
q.task_done()
使用者使用此方法发出信号，表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量，将引发ValueError异常。
q.join()
生产者将使用此方法进行阻塞，直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。
下面的例子说明如何建立永远运行的进程，使用和处理队列上的项目。生产者将项目放入队列，并等待它们被处理。
方法介绍
importtimeimportrandomfrom multiprocessing importJoinableQueue,Process#join 阻塞
defconsumer(q,name):whileTrue:
food=q.get()print('%s 吃了 %s'%(name,food))
time.sleep(random.random())
q.task_done()def producer(q,name,food,n=10):for i inrange(n):
time.sleep(random.random())
fd= food+str(i)print('%s 生产了 %s'%(name,fd))
q.put(fd)
q.join()if __name__ == '__main__':
q=JoinableQueue()
c1= Process(target=consumer,args=(q,'alex'))
c1.daemon=True
c1.start()
c2= Process(target=consumer, args=(q, 'alex'))
c2.daemon=True
c2.start()
p1= Process(target=producer,args=(q,'太白','泔水'))
p1.start()
p2= Process(target=producer, args=(q, 'egon', '鱼刺'))
p2.start()
p1.join()
p2.join()
JoinableQueue队列实现消费之生产者模型
总结:
#只有multiprocessing中的队列 才能帮助你 实现 IPC#永远不可能出现数据不安全的情况,多个进程不会同时取走同一个数据#提供给你的方法
#put
#get
#put_nowait
#get_nowait
#empty - 在多进程内不可靠
#full - 在多进程内不可靠
#qsize - 在多进程内不可靠#由于先进先出的特点+进程通信的功能+数据进程安全,经常用它来完成进程之间的通信#生产者消费者模型
#生产者和消费者的效率平衡的问题
#内存的控制 - 队列的长度限制
#让消费者自动停下来#JoinableQueue
#在消费数据的时候 task_done
#在生产端\主进程 join
管道(了解)---------
#创建管道的类：
Pipe([duplex]):在进程之间创建一条管道，并返回元组(conn1,conn2),其中conn1，conn2表示管道两端的连接对象，强调一点：必须在产生Process对象之前产生管道#参数介绍：
dumplex:默认管道是全双工的，如果将duplex射成False，conn1只能用于接收，conn2只能用于发送。#主要方法：
conn1.recv():接收conn2.send(obj)发送的对象。如果没有消息可接收，recv方法会一直阻塞。如果连接的另外一端已经关闭，那么recv方法会抛出EOFError。
conn1.send(obj):通过连接发送对象。obj是与序列化兼容的任意对象#其他方法：
conn1.close():关闭连接。如果conn1被垃圾回收，将自动调用此方法
conn1.fileno():返回连接使用的整数文件描述符
conn1.poll([timeout]):如果连接上的数据可用，返回True。timeout指定等待的最长时限。如果省略此参数，方法将立即返回结果。如果将timeout射成None，操作将无限期地等待数据到达。
conn1.recv_bytes([maxlength]):接收c.send_bytes()方法发送的一条完整的字节消息。maxlength指定要接收的最大字节数。如果进入的消息，超过了这个最大值，将引发IOError异常，并且在连接上无法进行进一步读取。如果连接的另外一端已经关闭，再也不存在任何数据，将引发EOFError异常。
conn.send_bytes(buffer [, offset [, size]])：通过连接发送字节数据缓冲区，buffer是支持缓冲区接口的任意对象，offset是缓冲区中的字节偏移量，而size是要发送字节数。结果数据以单条消息的形式发出，然后调用c.recv_bytes()函数进行接收
conn1.recv_bytes_into(buffer [, offset]):接收一条完整的字节消息，并把它保存在buffer对象中，该对象支持可写入的缓冲区接口(即bytearray对象或类似的对象)。offset指定缓冲区中放置消息处的字节位移。返回值是收到的字节数。如果消息长度大于可用的缓冲区空间，将引发BufferTooShort异常。
介绍
#from multiprocessing import Pipe,Process#def consumer(left,right):#left.close()#while True:#try:#print(right.recv())#except EOFError:#break#
#if __name__ == '__main__':#left,right = Pipe()#p = Process(target=consumer,args=(left,right))#p.start()#right.close()#for i in range(10):#left.send('hello')#left.close()#EOF异常的触发
#在这一个进程中 如果不在用这个端点了,应该close
#这一在recv的时候,如果其他端点都被关闭了,就能够知道不会在有新的消息传进来
#此时就不会在这里阻塞等待,而是抛出一个EOFError
#* close并不是关闭了整个管道,而是修改了操作系统对管道端点的引用计数的处理
管道初使用
应该特别注意管道端点的正确管理问题。如果是生产者或消费者中都没有使用管道的某个端点，就应将它关闭。
这也说明了为何在生产者中关闭了管道的输出端，在消费者中关闭管道的输入端。
如果忘记执行这些步骤，程序可能在消费者中的recv()操作上挂起。
管道是由操作系统进行引用计数的，必须在所有进程中关闭管道后才能生成EOFError异常。
因此，在生产者中关闭管道不会有任何效果，除非消费者也关闭了相同的管道端点。
#from multiprocessing import Process,Pipe#
#def consumer(p,name):#produce, consume=p#produce.close()#while True:#try:#baozi=consume.recv()#print('%s 收到包子:%s' %(name,baozi))#except EOFError:#break#
#def producer(p,seq=10):#produce, consume=p#consume.close()#for i in range(seq):#produce.send(i)#
#if __name__ == '__main__':#produce,consume=Pipe()#for i in range(5):#c=Process(target=consumer,args=((produce,consume),'c1'))#c.start()#for i in range(5):#p = Process(target=producer, args=((produce, consume)))#p.start()#producer((produce,consume))#produce.close()#consume.close()
管道实现生产者消费者模型
总结:
队列=管道+锁---->>>数据安全
管道--->>>>数据不安全,由操作系统进行引用计数
进程之间的数据共享
展望未来，基于消息传递的并发编程是大势所趋
即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。
这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。
但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。
以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。
manager模块介绍
进程间数据是独立的，可以借助于队列或管道实现通信，二者都是基于消息传递的
虽然进程间数据独立，但可以通过Manager实现数据共享，事实上Manager的功能远不止于此
A manager object returned by Manager() controls a server process which holds Python objectsandallows
other processes to manipulate them using proxies.
A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore,
BoundedSemaphore, Condition, Event, Barrier, Queue, Valueand Array.
翻译:
manager()返回的manager对象控制一个服务器进程，该进程保存Python对象，并允许其他进程使用代理操作它们。
由manager()返回的管理器将支持类型列表、命令、名称空间、锁、RLock、信号量、BoundedSemaphore、条件、事件、Barrier、队列、值和数组。
from multiprocessing importManager,Process,Lockdefwork(d,lock):
with lock:#不加锁而操作共享的数据,肯定会出现数据错乱
d['count']-=1
if __name__ == '__main__':
lock=Lock()
with Manager() as m:
dic=m.dict({'count':100})
p_l=[]for i in range(100):
p=Process(target=work,args=(dic,lock))
p_l.append(p)
p.start()for p inp_l:
p.join()print(dic)
例子
进程池和multiprocess.Pool模块
进程池
为什么要有进程池?进程池的概念。
在程序实际处理问题过程中，忙时会有成千上万的任务需要被执行，闲时可能只有零星任务。那么在成千上万个任务需要被执行的时候，我们就需要去创建成千上万个进程么？首先，创建进程需要消耗时间，销毁进程也需要消耗时间。第二即便开启了成千上万的进程，操作系统也不能让他们同时执行，这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程。那么我们要怎么做呢？
在这里，要给大家介绍一个进程池的概念，定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行。这样不会增加操作系统的调度难度，还节省了开闭进程的时间，也一定程度上能够实现并发效果。
multiprocess.Pool模块
概念介绍
Pool([numprocess [,initializer [, initargs]]]):创建进程池
1numprocess:要创建的进程数，如果省略，将默认使用cpu_count()的值2initializer：是每个工作进程启动时要执行的可调用对象，默认为None3 initargs：是要传给initializer的参数组
参数介绍
1 p.apply(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。 同步的2 '''需要强调的是：此操作并不会在所有池工作进程中并执行func函数。如果要通过不同参数并发地执行func函数，必须从不同线程调用p.apply()函数或者使用p.apply_async()'''
3
4 p.apply_async(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。 异步的5 '''此方法的结果是AsyncResult类的实例，callback是可调用对象，接收输入参数。当func的结果变为可用时，将理解传递给callback。callback禁止执行任何阻塞操作，否则将接收其他异步操作中的结果。'''
6
7p.close():关闭进程池，防止进一步操作。如果所有操作持续挂起，它们将在工作进程终止前完成8
9 P.jion():等待所有工作进程退出。此方法只能在close()或teminate()之后调用
主要方法
1方法apply_async()和map_async()的返回值是AsyncResul的实例obj。实例具有以下方法2obj.get():返回结果，如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发。3obj.ready():如果调用完成，返回True4obj.successful():如果调用完成且没有引发异常，返回True，如果在结果就绪之前调用此方法，引发异常5obj.wait([timeout]):等待结果变为可用。6 obj.terminate()：立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收，将自动调用此函数
其他方法
代码实例:
importosimporttimefrom multiprocessing importPool#同步请求的#def wahaha():#time.sleep(1)#print(os.getpid())#return True#
#if __name__ == '__main__':#p = Pool(5) # CPU的个数 或者 +1#ret_l = []#for i in range(20):#ret = p.apply(func = wahaha) # 同步的,不用#print(ret)
同步调用
defwahaha():
time.sleep(1)print(os.getpid())if __name__ == '__main__':
p= Pool(5) #CPU的个数 或者 +1
ret_l =[]for i in range(20):
ret= p.apply_async(func = wahaha) #async 异步的
ret_l.append(ret)
p.close()#关闭 进程池中的进程不工作了
#而是关闭了进程池,让任务不能再继续提交了
p.join() #等待这个池中提交的任务都执行完
## 表示等待所有子进程中的代码都执行完 主进程才结束
# 异步提交,不获取返回值
,等待所有任务都执行完毕之后再统一获取结果defwahaha():
time.sleep(1)print(os.getpid())returnTrueif __name__ == '__main__':
p= Pool(5) #CPU的个数 或者 +1
ret_l =[]for i in range(20):
ret= p.apply_async(func = wahaha) #async 异步的
ret_l.append(ret)
p.close()#关闭 进程池中的进程不工作了
#而是关闭了进程池,让任务不能再继续提交了
p.join() #等待这个池中提交的任务都执行完
for ret inret_l:print(ret.get())
# 异步提交,获取返回值
,一个任务执行完毕之后就可以获取到一个结果(顺序是按照提交任务的顺序)defwahaha():
time.sleep(1)print(os.getpid())returnTrueif __name__ == '__main__':
p= Pool(5) #CPU的个数 或者 +1
ret_l =[]for i in range(20):
ret= p.apply_async(func = wahaha) #async 异步的
ret_l.append(ret)for ret inret_l:print(ret.get())
# 异步提交,获取返回值
注意:
# 异步的 apply_async
# 1.如果是异步的提交任务,那么任务提交之后进程池和主进程也异步了,
#主进程不会自动等待进程池中的任务执行完毕
# 2.如果需要主进程等待,需要p.join
# 但是join的行为是依赖close
# 3.如果这个函数是有返回值的
# 也可以通过ret.get()来获取返回值
# 但是如果一边提交一遍获取返回值会让程序变成同步的
# 所以要想保留异步的效果,应该讲返回对象保存在列表里,所有任务提交完成之后再来取结果
# 这种方式也可以去掉join,来完成主进程的阻塞等待池中的任务执行完毕
练习:
importsocketfrom multiprocessing importPooldeftalk(conn):try:whileTrue:
conn.send(b'hello')print(conn.recv(1024))finally:
conn.close()if __name__ == '__main__':
p= Pool(5)
sk=socket.socket()
sk.bind(('127.0.0.1',9090))
sk.listen()whileTrue:
conn,addr=sk.accept()
p.apply_async(func=talk,args=(conn,))
进程池版server端
importsocketimportos
sk=socket.socket()
sk.connect(('127.0.0.1',9090))whileTrue:print(sk.recv(1024))
sk.send(str(os.getpid()).encode('utf-8'))
client端
发现：并发开启多个客户端，服务端同一时间只有4个不同的pid，只能结束一个客户端，另外一个客户端才会进来.
回调函数---------->>>>>>>>>
需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。
主进程则调用一个函数去处理该结果，该函数即回调函数
我们可以把耗时间(阻塞)的任务放到进程池中，然后指定回调函数(主进程负责执行)，
这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。
importosimporttimeimportrandomfrom multiprocessing importPool#异步提交,获取返回值,从头到尾一个任务执行完毕之后就可以获取到一个结果
defwahaha(num):
time.sleep(random.random())print('pid :',os.getpid(),num)returnnumdefback(arg):print('call_back :',os.getpid(),arg)if __name__ == '__main__':print('主进程',os.getpid())
p= Pool(5) #CPU的个数 或者 +1
for i in range(20):
ret= p.apply_async(func = wahaha,args=(i,),callback=back) #async 异步的
p.close()
p.join()#回调函数 _ 在主进程中执行#在发起任务的时候 指定callback参数#在每个进程执行完apply_async任务之后,返回值会直接作为参数传递给callback的函数,执行callback函数中的代码
代码实例
from multiprocessing importPoolimportrequestsimportjsonimportosdefget_page(url):print(' get %s' %(os.getpid(),url))
respone=requests.get(url)if respone.status_code == 200:return {'url':url,'text':respone.text}defpasrse_page(res):print(' parse %s' %(os.getpid(),res['url']))
parse_res='url: size:[%s]\n' %(res['url'],len(res['text']))
with open('db.txt','a') as f:
f.write(parse_res)if __name__ == '__main__':
urls=['https://www.baidu.com','https://www.python.org','https://www.openstack.org','https://help.github.com/','http://www.sina.com.cn/']
p=Pool(3)
res_l=[]for url inurls:
res=p.apply_async(get_page,args=(url,),callback=pasrse_page)
res_l.append(res)
p.close()
p.join()print([res.get() for res in res_l]) #拿到的是get_page的结果,其实完全没必要拿该结果,该结果已经传给回调函数处理了
'''打印结果:
get https://www.baidu.com
get https://www.python.org
get https://www.openstack.org
get https://help.github.com/
parse https://www.baidu.com
get http://www.sina.com.cn/
parse https://www.python.org
parse https://help.github.com/
parse http://www.sina.com.cn/
parse https://www.openstack.org
[{'url': 'https://www.baidu.com', 'text': '\r\n...',...}]'''
使用多进程请求多个url来减少网络等待浪费的时间
importrefrom urllib.request importurlopenfrom multiprocessing importPooldefget_page(url,pattern):
response=urlopen(url).read().decode('utf-8')returnpattern,responsedefparse_page(info):
pattern,page_content=info
res=re.findall(pattern,page_content)for item inres:
dic={'index':item[0].strip(),'title':item[1].strip(),'actor':item[2].strip(),'time':item[3].strip(),
}print(dic)if __name__ == '__main__':
regex= r'
.*?<.>(\d+).*?title="(.*?)".*?class="movie-item-info".*?(.*?)
.*?(.*?)
'pattern1=re.compile(regex,re.S)url_dic={'http://maoyan.com/board/7':pattern1,
}
p=Pool()
res_l=[]for url,pattern inurl_dic.items():
res=p.apply_async(get_page,args=(url,pattern),callback=parse_page)
res_l.append(res)for i inres_l:
i.get()
爬虫实例
如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数
from multiprocessing importPoolimporttime,random,osdefwork(n):
time.sleep(1)return n**2
if __name__ == '__main__':
p=Pool()
res_l=[]for i in range(10):
res=p.apply_async(work,args=(i,))
res_l.append(res)
p.close()
p.join()#等待进程池中所有进程执行完毕
nums=[]for res inres_l:
nums.append(res.get())#拿到所有结果
print(nums) #主进程拿到所有的处理结果,可以在主进程中进行统一进行处理
无需回调函数
无需回调函数
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
