Python 提供了更好的管理多个进程的方式,就是使用进程池。进程池可以提供指定数量的进程给用户使用,即当 有新的请求提交到进程池中时,如果池未满,则会创建一个新的进程用来执行该请求;反之,如果池中的进程数已 经达到规定最大值,那么该请求就会等待,只要池中有进程空闲下来,该请求就能得到执行。
使用进程池的优点
- 提高效率,节省开辟进程和开辟内存空间的时间及销毁进程的时间
- 节省内存空间
Pool中的函数说明:
Pool(12):创建多个进程,表示可以同时执行的进程数量。默认大小是CPU的核心数果。
join():进程池对象调用join,会等待进程池中所有的子进程结束完毕再去结束父进程。
close():如果我们用的是进程池,在调用join()之前必须要先close(),并且在close()之后不能再继续往进程池添加新的进程
pool.apply_async(func,args,kwds) : 异步执行 ;将事件放入到进程池队列 。args以元组的方式传参,kwds以字典的方式传参。
pool.apply_sync(func,args,kwds):同步执行;将事件放入到进程池队列。这里解释一下同步与异步:
同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)。
同步,就是调用某个东西时,调用方得等待这个调用返回结果才能继续往后执行。
异步,和同步相反 调用方不会等待得到结果,而是在调用发出后调用者可用继续执行后续操作,被调用者通
过状体来通知调用者,或者通过回掉函数来处理这个调用
进程池的创建
if __name__ == '__main__':
# p = Pool() # 默认为CPU核心数
p = Pool(5)
for i in range(10):
# 请求得到一个进程,然后异步调用run函数(非阻塞式)
p.apply_async(run,('process'+str(i),))
p.close()
p.join() # 在调用join之前必须先调用close
print('父进程结束')
打印进程的信息,并记录进程执行时长
def run(name):
print("进程的名字:%s,ID:%s;已经启动" % (name, os.getpid()))
stat = time.time()
time.sleep(random.choice([1,2,3,4,5])) # 进程随机休眠秒数
end = time.time()
print("进程的名字:%s,ID:%s;已经结束,耗时%.2f" % (name, os.getpid(),end-stat))