目录
1.2 Python标准库concurrent.futures简介
示例代码：使用ThreadPoolExecutor执行简单任务
示例代码：混合使用asyncio与ThreadPoolExecutor
1、线程池基础 🏗️
1.1 线程池概念与优势
线程池是一种软件设计模式，用于管理多个线程的创建、执行、销毁等生命周期 ，从而提高程序性能与资源利用率。它预先创建一定数量的工作线程并保持就绪状态 ，当有任务到达时 ，线程池会从队列中取出任务并分配给空闲线程执行 ，执行完毕后线程不会立即销毁而是回到池中等待下一轮任务。这一机制有效减少了频繁创建和销毁线程的开销，提升了系统的响应速度和吞吐量。
优势包括：
-
• 资源高效：减少线程创建与销毁的开销。
-
• 控制并发：通过线程池大小限制并发任务数，防止资源过度消耗。
-
• 管理便利：统一调度任务，便于监控与控制。
-
• 提升响应：复用已有线程，加快任务处理速度。
1.2 Python标准库concurrent.futures简介
concurrent.futures模块自Python 3.2起被引入，为异步执行提供了高层次的接口，包括两种主要的执行器：ThreadPoolExecutor用于多线程并发，而ProcessPoolExecutor则用于多进程。对于自定义线程池的需求，ThreadPoolExecutor是理想的起点。
ThreadPoolExecutor允许开发者轻松创建线程池，提交任务 ，并获取结果，支持同步等待(result())和异步获取结果(add_done_callback()), 提供了异常处理机制以及对任务完成情况的追踪。
示例代码：使用ThreadPoolExecutor执行简单任务
下面是一个使用ThreadPoolExecutor的示例，展示了如何创建一个线程池，提交任务，并获取结果。
import concurrent
from concurrent.futures import ThreadPoolExecutor
import time
def long_running_task(n):
"""模拟耗时操作"""
time.sleep(n)
return f"Task {n} done after {n} seconds."
# 创建一个包含4个线程的线程池
with ThreadPoolExecutor(max_workers=4)as executor:
# 提交任务到线程池
futures ={executor.submit(long_running_task, n)for n in range(5)}
# 收集结果
for future in concurrent.futures.as_completed(futures):
print(future.result())此段代码中，long_running_task模拟了一个耗时操作，通过线程池提交了5个这样的任务。每个任务在完成后打印其结果，由于线程池最大工作者数为4，因此前四个任务会立即开始执行 ，最后一个任务会在某个线程释放后继续。
请注意，实际应用中应根据具体需求调整线程池大小及任务细节。
2、利用ThreadPoolExecutor定制 🎛️
2.1 创建自定义线程池类
为了更好地控制线程池的行为，我们可以创建一个自定义的ThreadPoolExecutor子类。这不仅允许我们覆盖默认行为，还能添加额外的功能，如更详细的日志记录、错误处理策略以及线程池状态的监控。
示例代码：自定义ThreadPoolExecutor子类
下面的代码展示了如何创建一个自定义的ThreadPoolExecutor子类 ，其中增加了初始化时的参数验证以及更丰富的日志记录功能。
from concurrent.futures import ThreadPoolExecutor
import logging
class CustomThreadPoolExecutor(ThreadPoolExecutor):
def __init__(self, max_workers=None, thread_name_prefix='', initializer=None, initargs=()):
if max_workers is None or max_workers <=0:
raise ValueError("max_workers must be greater than 0")
super().__init__(max_workers=max_workers,thread_name_prefix=thread_name_prefix, initializer=initializer,initargs=initargs)
self.logger = logging.getLogger(__name__)
self.logger.setLevel(logging.INFO)
def submit(self, fn, *args, **kwargs):
future =super().submit(fn,*args,**kwargs)
self.logger.info(f"Submitted task: {fn.__name__} with args: {args} and kwargs: {kwargs}")
return future
# 使用自定义线程池执行任务
with CustomThreadPoolExecutor(max_workers=4, thread_name_prefix="CustomThread")as executor:
futures =[executor.submit(pow, base, exponent)for base, exponent in[(2,10),(3,5)]]
for future in futures:
print(f"Result: {future.result()}")输出：
Result: 1024
Result: 243
在这个示例中，我们首先检查max_workers是否有效，然后初始化父类ThreadPoolExecutor。我们还设置了一个logger，用于记录任务的提交情况。submit方法被重写 ，以便在任务提交时记录相关信息。
2.2 设置线程池参数与任务提交
在创建线程池时，可以通过参数max_workers来指定线程池中的最大线程数。此外，还可以通过thread_name_prefix来设置线程名前缀，便于调试和日志分析。
示例代码：配置线程池并提交任务
下面的代码示例展示了如何配置线程池并提交多个任务，同时展示了如何使用as_completed函数来获取已完成的任务结果。
from concurrent.futures import ThreadPoolExecutor, as_completed
def calculate_factorial(number):
factorial =1
for i in range(1, number +1):
factorial *= i
return factorial
with ThreadPoolExecutor(max_workers=5)as executor:
tasks =[executor.submit(calculate_factorial, n)for n in range(1,6)]
for future in as_completed(tasks):
result = future.result()
print(f"The factorial of {future._args[0]} is {result}")这个示例中 ，我们定义了一个calculate_factorial函数来计算阶乘，然后使用ThreadPoolExecutor创建了一个包含5个线程的线程池。我们提交了5个任务，分别计算1到5的阶乘 ，并使用as_completed来迭代并打印出每个任务的结果。
2.3 错误处理与结果回调
在处理
最低0.47元/天 解锁文章
2252
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
