【python】ThreadPoolExecutor线程池

python的Demo

from concurrent.futures import ThreadPoolExecutor
import time

class RejectableThreadPool:
    def __init__(self, max_workers, max_pending_tasks):
        self.max_pending_tasks = max_pending_tasks
        self.executor = ThreadPoolExecutor(max_workers=max_workers)
        self.pending_tasks = 0

    def submit_task(self, func, *args, **kwargs):
        if self.pending_tasks >= self.max_pending_tasks:
            return "Task limit reached. Try again later."

        future = self.executor.submit(self._task_wrapper, func, *args, **kwargs)
        self.pending_tasks += 1
        return future

    def _task_wrapper(self, func, *args, **kwargs):
        try:
            result = func(*args, **kwargs)
        finally:
            self.pending_tasks -= 1

    def shutdown(self):
        self.executor.shutdown()

    def get_pending_tasks(self):
        return self.pending_tasks


def task_func(task_id):
    print(f"Task {task_id} started")
    time.sleep(1)
    print(f"Task {task_id} completed")

thread_pool = RejectableThreadPool(max_workers=5, max_pending_tasks=2)

# 提交任务
for i in range(5):
    result = thread_pool.submit_task(task_func, i)
    if isinstance(result, str):
        print(result)  # 输出任务被拒绝的提示信息

# 等待所有任务完成
thread_pool.shutdown()

解释

让我们逐行解释代码的功能和作用:

首先,我们引入了ThreadPoolExecutor类和time模块,ThreadPoolExecutor是Python标准库concurrent.futures模块提供的一个线程池实现。

RejectableThreadPool类的定义开始。在构造函数__init__中,我们传入了两个参数max_workers和max_pending_tasks,分别代表线程池的最大工作线程数和最大挂起任务数。我们还初始化了executor成员变量为一个ThreadPoolExecutor对象,并设置了max_workers为传入的max_workers值,pending_tasks初始化为0。

submit_task方法用于提交任务。首先,它会检查当前挂起任务数是否已达到最大限制,如果是,则直接返回一个字符串"Task limit reached. Try again later."表示任务被拒绝。否则,它会使用executor.submit方法来提交任务,并调用_task_wrapper方法包装任务,最后增加挂起任务数并返回任务的Future对象。

_task_wrapper方法用于执行任务函数。它接收任务函数func和其它参数,首先调用func函数执行任务,并在finally块中减少挂起任务数。

shutdown方法用于等待所有任务执行完毕并关闭线程池。

get_pending_tasks方法返回当前挂起任务数。

下面是一个示例使用该线程池的代码。我们创建了一个RejectableThreadPool对象thread_pool,设置最大工作线程数为5,最大挂起任务数为2。

之后,我们使用submit_task方法提交了5个任务给线程池。在每次提交任务后,我们检查返回结果的类型,如果是字符串类型,则说明任务被拒绝,我们将其打印出来。

最后,我们调用shutdown方法等待所有任务执行完毕并关闭线程池。

通过以上的代码示例,我们可以实现一个具有任务拒绝机制的自定义线程池,用于任务调度和执行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颢师傅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值