python之多进程

1.多进程对于全局变量访问，在每一个全局变量里面都放一个m变量，保证每个进程访问变量互不干扰。

2.进程池：阻塞式：当一个任务被执行时，在进程池中开辟出一个进程，当该任务结束时，下一个任务才能被执行，然后在进程池中开辟出一个新的进程，原先执行完任务1的进程闲置，...在进程池中最多开辟n个进程。阻塞式无法用队列，没有回调函数。

非阻塞式：进程池里开辟n个进程，将所有任务依次放在一个队列里，首先将前n个任务一起放到进程池中，每个任务由一个进程负责执行，每个进程都有自己的id，当一个任务执行结束时，它所用的进程就会空闲，然后队列里第一个任务立即进入到该空闲的进程中，然后被执行。（效率高）

# 进程池，阻塞式
from multiprocessing import Pool
import time
from random import random
import os


def task(task_name):
    print('开始做任务啦', task_name)
    start = time.time()
    time.sleep(random() * 2)
    end = time.time()
    print('完成任务：{}用时{}，进程id：{}'.format(task_name, (end - start), os.getpid()))


if __name__ == "__main__":
    pool = Pool(5)
    tasks = ['听音乐', '吃饭', '洗衣服', '打游戏', '散步', '看孩子', '做饭']
    for task1 in tasks:
        pool.apply(task, args=(task1,))

    pool.close()  # 添加任务结束
    pool.join()  # 阻隔主线程执行，需先执行完pool里的全部任务，才能执行主线程的后续程序

    print("over!")

输出结果：

 

# 进程池，非阻塞式
from multiprocessing import Pool
import time
from random import random
import os


def task(task_name):
    print('开始做任务啦', task_name)
    start = time.time()
    time.sleep(random() * 2)
    end = time.time()
    return '完成任务：{}用时{}，进程id：{}'.format(task_name, (end - start), os.getpid())


container = []


def callback_func(n):
    container.append(n)


if __name__ == "__main__":
    pool = Pool(5)
    tasks = ['听音乐', '吃饭', '洗衣服', '打游戏', '散步', '看孩子', '做饭']
    for task1 in tasks:
        #调用回调函数，每当一个任务结束时（即函数task执行完)return的内容给callback_func中的n
        pool.apply_async(task, args=(task1,), callback=callback_func)

    pool.close()  # 添加任务结束
    pool.join()  # 阻隔主线程执行，需先执行完pool里的全部任务，才能执行主线程的后续程序

    for c in container:
        print(c)

    print("over!")

输出结果：

3.进程间通信：需在进程间添加一个队列进行通信

# 进程间通信
from multiprocessing import Process, Queue
from time import sleep


def download(q):
    images = ['girl.jpg', 'boy.jpg', 'man.jpg']
    for image in images:
        print('正在下载：', image)
        sleep(0.5)
        # 在两个进程间创建一个队列，q.put()表示向队列中放元素
        q.put(image)


def getfile(q):
    while True:
        try:
            # q.get()表示从队列中取元素
            file = q.get(timeout=5)
            print('{}保存成功'.format(file))
        except:
            print('全部保存完毕!')
            break


if __name__ == '__main__':
    # 设置队列中最多存放5个元素
    q = Queue(5)
    p1 = Process(target=download, args=(q,))
    p2 = Process(target=getfile, args=(q,))

    p1.start()
    # p1设置阻隔，要等p1进程执行完了才执行后续程序
    p1.join()

    p2.start()
    p2.join()

    print('over!')

输出结果：

 

 感谢哔站上千峰教育提供的python学习视频！