29. Python语言的 Web 开发之多任务 · 第三章进程_pythonweb开发教程第三章习题-CSDN博客

本文链接：https://blog.csdn.net/sinat_38761218/article/details/106865120

进程

本章主题
关键词
多进程共享全局变量
进程间的通信
- start() 与 run() 区别
进程池
进程池通信
多任务文件夹复制
- 需求1：实现多任务文件夹复制
- 需求2：实现进度条
总结小便条

本章主题

关键词

多进程共享全局变量

import threading
import time
import multiprocessing

num = 100

def demo1():
    global num
    num += 1
    print(f"demo----{num}")


def demo2():
    print(f"demo1----{num}")
    

p1 = multiprocessing.Process(target=demo1)
    p2 = multiprocessing.Process(target=demo2)
    p1.start()
    p2.start()


if __name__ == '__main__':
    main()

进程间的通信

在这里插入图片描述

这个时候就可以使用到队列进行通信。

需求：
• 实现在函数 download 中，将list元素保存到队列中
• 实现在函数 manage_data 中，将list元素从队列中取出，并且添加到新的列表中。

import multiprocessing

# 下载数据
def download(q):
    lis = [11, 22, 33]
    for item in lis:
        q.put(item)

    print("下载完成，并且保存到队列中...")


# 处理数据
def manage_data(q):
    ana_data = list()
    while True:
        data = q.get()
        ana_data.append(data)
        if q.empty():
            break

    print(ana_data)

def main():
    q = multiprocessing.Queue()
    t1 = multiprocessing.Process(target=download, args=(q,))
    t2 = multiprocessing.Process(target=manage_data, args=(q,))

    t1.start()
    t2.start()


if __name__ == '__main__':
    main()

• 注意：如果使用普通队列，不是使用 start() 方法，而是 run() 方法。

start() 与 run() 区别

• start() 方法来启动进程，真正实现了多进程运行，这时无需等待 run 方法体代码执行完毕而直接继续执行下面的代码：调用 Process 类的 start() 方法来启动一个进程，这时此进程处于就绪（可运行）状态，并没有运行，一旦得到 cpu 时间片，就开始执行 run() 方法，这里方法 run() 称为进程体，当进程结束后，不可以重新启动。
• run() 方法只是类的一个普通方法，如果直接调用 run 方法，程序中依然只有主线程这一个线程，其程序执行路径还是只有一条，还是要顺序执行，还是要等待 run 方法体执行完毕后才可继续执行下面的代码，这样就没有达到写线程的目的。

进程池

当需要创建的子进程数量不多时，可以直接利用 multiprocessing 中的 Process 动态生成多个进程，但是如果是上百甚至上千个目标，手动的去创建的进程的工作量巨大，此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。

在这里插入图片描述

初始化 Pool 时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求，但是如果进程池中的进程已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。

如下代码，使用进程池体现。

import os, time


def worker(msg):
    t_start = time.time()
    print(f"{msg}开始执行，进程号为{os.getpid()}")

    time.sleep(2)
    t_stop = time.time()

    print(msg, f"执行完成，耗时{t_stop-t_start}")
    
    
worker()

进程池通信

使用进程池通信时，要使用进程池的队列。
• multiprocessing.Manager().Queue()

import multiprocessing


def demo1(q):
    q.put("a")


def demo2(q):
    data = q.get()
    print(data)


if __name__ == '__main__':
    q = multiprocessing.Manager().Queue()
    po = multiprocessing.Pool(2)

    po.apply_async(demo1, args=(q,))
    po.apply_async(demo2, args=(q,))

    po.close()
    po.join()