一、python并发编程之多进程
1、multiprocessing模块介绍(
from multiprocessing import Process
)
2、Process类的介绍
1 创建进程的类:
Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号
2参数介绍:
1 group参数未使用,值始终为None2
3 target表示调用对象,即子进程要执行的任务4
5 args表示调用对象的位置参数元组,args=(1,2,'egon',)6
7 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}8
9 name为子进程的名称
3方法介绍:
1 p.start():启动进程,并调用该子进程中的p.run()
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
3
4 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
5 p.is_alive():如果p仍然运行,返回True
6
7 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
4属性介绍:
1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
2
3 p.name:进程的名称
4
5 p.pid:进程的pid
6
7 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
8
9 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
3、Process类的使用
注意:在windows中Process()必须放到# if __name__ == '__main__':下
由于Windows没有fork,多处理模块启动一个新的Python进程并导入调用模块。
如果在导入时调用Process(),那么这将启动无限继承的新进程(或直到机器耗尽资源)。
这是隐藏对Process()内部调用的原,使用if __name__ == “__main __”,这个if语句中的语句将不会在导入时被调用。
开启子进程的方法一:
开启子进程的方法二:
进程内存空间彼此隔离的例子:
小练习:把之前所学的socket通讯变成并发的形式:
服务端:
1 #_*_coding:utf-8_*_
2 __author__ = 'huying'
3
4 from socket import *
5
6 from multiprocessing importProcess7
8 server=socket(AF_INET,SOCK_STREAM)9 server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)10 server.bind(('127.0.0.1',8080))11 server.listen(5)12
13 deftalk(conn,client_addr):14 whileTrue:15 try:16 msg=conn.recv(1024)17 if len(msg)==0:break
18 conn.send(msg.upper())19 exceptException:20 break
21
22 if __name__ == '__main__':23 whileTrue:24 conn,client_addr=server.accept()25 p=Process(target=talk,args=(conn,client_addr))26 p.start()
View Code
客户端 :
#_*_coding:utf-8_*_
__author__ = 'huying'
importsocket
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.connect(('127.0.0.1',8080))whileTrue:
msg=input('>>>:').strip()if len(msg)==0:continuephone.send(msg.encode('utf-8'))
data=phone.recv(1024)print(data)
phone.close()
View Code
Process对象的join方法
join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。
如下:
1 #_*_coding:utf-8_*_
2 __author__ = 'huying'
3
4
5
6 from multiprocessing importProcess7 importtime8
9
10 deftask(name):11 print('%s is running.'%name)12 time.sleep(3)13 print('%s is done.'%name)14
15 if __name__ == '__main__':16 p=Process(target=task,args=('子进程1',))17 p.start()18 p.join()19 print('主')
View Code
2、
1 from multiprocessing importProcess2 importtime3 deftask(name,n):4 print('%s is running.'%name)5 time.sleep(n)6 print('%s is done.'%name)7 if __name__ == '__main__':8 p1=Process(target=task,args=('子进程1',1))9 p2=Process(target=task,args=('子进程2',2))10 p3=Process(target=task, args=('子进程3', 3))11
12 start_time=time.time()13 p1.start()14 p2.start()15 p3.start()16
17 p1.join()18 p2.join()19 p3.join()20
21 stop_time=time.time()22 print('主',(stop_time-start_time))
View Code
3、
1 from multiprocessing importProcess2 importtime3 deftask(name,n):4 print('%s is running.'%name)5 time.sleep(n)6 print('%s is done.'%name)7
8 if __name__ == '__main__':9 p1=Process(target=task,args=('子进程1',1))10 p2=Process(target=task,args=('子进程2',2))11 p3=Process(target=task,args=('子进程3',3))12
13 start=time.time()14
15 p1.start()16 p1.join()17 p2.start()18 p2.join()19 p3.start()20 p3.join()21
22 stop=time.time()23 print('主',(stop-start))
View Code
4、 3的精简版
1 from multiprocessing importProcess2 importtime3 deftask(name,n):4 print('%s is running.'%name)5 time.sleep(n)6 print('%s is done.'%name)7
8 if __name__ == '__main__':9 p_1=[]10 start=time.time()11 for i in range(1,4):12 p=Process(target=task,args=('子进程%s'%i,i))13 p_1.append(p)14 p.start()15
16 for p inp_1:17 p.join()18
19 stop=time.time()20 print('主',(stop-start))
View Code
了解知识点:
1 #进程对象的其他方法一:terminate,is_alive
2 from multiprocessing importProcess3 importtime4 importrandom5
6 classPiao(Process):7 def __init__(self,name):8 self.name=name9 super().__init__()10
11 defrun(self):12 print('%s is piaoing' %self.name)13 time.sleep(random.randrange(1,5))14 print('%s is piao end' %self.name)15
16
17 p1=Piao('egon1')18 p1.start()19
20 p1.terminate()#关闭进程,不会立即关闭,所以is_alive立刻查看的结果可能还是存活
21 print(p1.is_alive()) #结果为True
22
23 print('开始')24 print(p1.is_alive()) #结果为False
25
26 terminate与is_alive
View Code
1 from multiprocessing importProcess2 importtime3 importrandom4 classPiao(Process):5 def __init__(self,name):6 #self.name=name
7 #super().__init__() #Process的__init__方法会执行self.name=Piao-1,
8 ##所以加到这里,会覆盖我们的self.name=name
9
10 #为我们开启的进程设置名字的做法
11 super().__init__()12 self.name=name13
14 defrun(self):15 print('%s is piaoing' %self.name)16 time.sleep(random.randrange(1,3))17 print('%s is piao end' %self.name)18
19 p=Piao('egon')20 p.start()21 print('开始')22 print(p.pid) #查看pid
23
24 name与pid
View Code