python 线程池动态更改 最大线程数量

python 线程池动态更改 最大线程数量

可以使用ThreadPoolExecutor的map方法来提交任务，并且可以使用其shutdown方法安全地关闭线程池

import concurrent.futures
import threading
 
# 定义一个工作函数
def worker(n):
    print(f"Worker {n} is running")
    return n * n
 
# 创建线程池并设置最大线程数
def create_thread_pool(max_workers):
    return concurrent.futures.ThreadPoolExecutor(max_workers=max_workers)
 
# 动态更新最大线程数
def update_max_workers(executor, new_max_workers):
    executor._max_workers = new_max_workers  # 访问私有属性进行修改
 
# 使用线程池处理任务
def process_tasks(tasks, initial_max_workers):
    with create_thread_pool(initial_max_workers) as executor:
        future_to_task_id = {executor.submit(worker, task): task for task in tasks}
        for future in concurrent.futures.as_completed(future_to_task_id):
            task_id = future_to_task_id[future]
            try:
                data = future.result()
                print(f"Task {task_id} got result: {data}")
            except Exception as exc:
                print(f"Task {task_id} generated an exception: {exc}")
            # 动态更新线程池最大线程数
            update_max_workers(executor, len(future_to_task_id) + 1)
 
# 示例使用
tasks = range(10)  # 任务列表
initial_max_workers = 3  # 初始最大线程数
process_tasks(tasks, initial_max_workers)

在这个示例中，create_thread_pool函数创建了一个线程池并设置了最大线程数。process_tasks函数使用这个线程池来处理一系列的任务，并在每完成一个任务后动态地更新最大线程数。update_max_workers函数通过修改线程池的私有属性_max_workers来实现动态更新最大线程数的功能。

请注意，修改私有属性并不是线程安全的，在实际生产环境中应当小心使用。此外，从Python 3.7开始，concurrent.futures模块中的ThreadPoolExecutor类开始公开了一个名为_max_workers的属性，允许你通过公共接口设置最大线程数，这样就可以避免使用私有属性，从而提高了代码的稳定性和可维护性。