进程池线程池

【零】概念

"""问题:
    计算机硬件是有物理极限的 我们不可能无限制的创建进程和线程
    
措施:
    池:
        保证计算机硬件安全的情况下提升程序的运行效率
    进程池:
        提前创建好固定数量的进程 后续反复使用这些进程(合同工)
    线程池:
        提前创建好固定数量的线程 后续反复使用这些线程(合同工)
    如果任务超出了池子里面的最大进程或线程数 则原地等待
强调:
    进程池和线程池其实降低了程序的运行效率 但是保证了硬件的安全!!!"""

【一】进程池

import os
import time
from concurrent.futures import ProcessPoolExecutor
​
# 构造进程池，指定进程总数
process_pool = ProcessPoolExecutor(5)
​
​
def task(n):
    time.sleep(0.1)
    print(f"当前第{n}个进程是{os.getpid()}")
    # 假设这里有一些计算或I/O操作  
    return n * n  # 返回一个结果作为示例  
​
​
def callback_function(future):
    try:
        result = future.result()  # 获取操作的结果  
        print(f"任务完成，结果是 {result}")
    except Exception as e:
        print(f"任务发生异常: {e}")
​
​
def main():
    for i in range(20):
        future = process_pool.submit(task, i)
        # print(future)#进程对象
        future.add_done_callback(callback_function)  # 注册回调函数，会将future这个对象自动传入到回调函数中作为参数
​
​
if __name__ == '__main__':
    main()

【二】线程池对象

import os
import time
from concurrent.futures import ThreadPoolExecutor
​
# 构造进程池，指定进程总数
thread_pool = ThreadPoolExecutor(5)
​
​
def task(n):
    time.sleep(0.1)
    print(f"当前第{n}个进程是{os.getpid()}")
    # 假设这里有一些计算或I/O操作
    return n * n  # 返回一个结果作为示例
​
​
def callback_function(future):
    try:
        result = future.result()  # 获取操作的结果
        print(f"任务完成，结果是 {result}")
    except Exception as e:
        print(f"任务发生异常: {e}")
​
​
def main():
    for i in range(20):
        future = thread_pool.submit(task, i)
        # print(future)#进程对象
                                                    future.add_done_callback(callback_function)  # 注册回调函数，会将future这个对象自动传入到回调函数中作为参数
    thread_pool.shutdown()#要在所有线程都提交了之后写
    print("我是主线程")
​
​
if __name__ == '__main__':
    main()

【三】回调函数

异步：
pool.submit(task, i).add_done_callback(func)
"""add_done_callback只要任务有结果了 就会自动调用括号内的函数处理"""
pool.submit(task, i)后的结果是一个对象，对象调用add_done_callback(func)方法会给回调函数func自动传入对象作为参数
同步：对象.result()

【四】pool.shutdown()

等待所有子线程结束后再打印程序运行结果，所以他要写在所有线程都提交了之后
def main():
    for i in range(20):
        future = thread_pool.submit(task, i)
        # print(future)#进程对象
        future.add_done_callback(callback_function)  # 注册回调函数，会将future这个对象自动传入到回调函数中作为参数
    thread_pool.shutdown()#要在所有线程都提交了之后写
    print("我是主线程")