本章主题
关键词
多进程共享全局变量
import threading
import time
import multiprocessing
num = 100
def demo1():
global num
num += 1
print(f"demo----{num}")
def demo2():
print(f"demo1----{num}")
p1 = multiprocessing.Process(target=demo1)
p2 = multiprocessing.Process(target=demo2)
p1.start()
p2.start()
if __name__ == '__main__':
main()
进程间的通信
这个时候就可以使用到队列进行通信。
需求:
• 实现在函数 download 中,将list元素保存到队列中
• 实现在函数 manage_data 中,将list元素从队列中取出,并且添加到新的列表中。
import multiprocessing
# 下载数据
def download(q):
lis = [11, 22, 33]
for item in lis:
q.put(item)
print("下载完成,并且保存到队列中...")
# 处理数据
def manage_data(q):
ana_data = list()
while True:
data = q.get()
ana_data.append(data)
if q.empty():
break
print(ana_data)
def main():
q = multiprocessing.Queue()
t1 = multiprocessing.Process(target=download, args=(q,))
t2 = multiprocessing.Process(target=manage_data, args=(q,))
t1.start()
t2.start()
if __name__ == '__main__':
main()
• 注意:如果使用普通队列,不是使用 start() 方法,而是 run() 方法。
start() 与 run() 区别
• start() 方法来启动进程,真正实现了多进程运行,这时无需等待 run 方法体代码执行完毕而直接继续执行下面的代码:调用 Process 类的 start() 方法来启动一个进程,这时此进程处于就绪(可运行)状态,并没有运行,一旦得到 cpu 时间片,就开始执行 run() 方法,这里方法 run() 称为进程体,当进程结束后,不可以重新启动。
• run() 方法只是类的一个普通方法,如果直接调用 run 方法,程序中依然只有主线程这一个线程,其程序执行路径还是只有一条,还是要顺序执行,还是要等待 run 方法体执行完毕后才可继续执行下面的代码,这样就没有达到写线程的目的。
进程池
当需要创建的子进程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程, 但是如果是上百甚至上千个目标,手动的去创建的进程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。
初始化 Pool 时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求,但是如果进程池中的进程已经达到指定的最大值,那么该请求 就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。
如下代码,使用进程池体现。
import os, time
def worker(msg):
t_start = time.time()
print(f"{msg}开始执行,进程号为{os.getpid()}")
time.sleep(2)
t_stop = time.time()
print(msg, f"执行完成,耗时{t_stop-t_start}")
worker()
进程池通信
使用进程池通信时,要使用进程池的队列。
• multiprocessing.Manager().Queue()
import multiprocessing
def demo1(q):
q.put("a")
def demo2(q):
data = q.get()
print(data)
if __name__ == '__main__':
q = multiprocessing.Manager().Queue()
po = multiprocessing.Pool(2)
po.apply_async(demo1, args=(q,))
po.apply_async(demo2, args=(q,))
po.close()
po.join()
多任务文件夹复制
需求1:实现多任务文件夹复制
• 获取用户要复制的文件夹名字
• 创建一个新的文件夹
• 获取文件夹所有待拷贝的文件名字
• 创建进程池
• 添加拷贝任务
需求2:实现进度条
总结小便条
本篇文章主要讲了以下几点内容:
本章回顾暂时就到这了,如果还有点晕,那就把文章里所有引用的案例代码再敲几遍吧。拜拜~