Python 为什么要用线程池?

一、为什么要使用线程池

多线程的情况下确实可以最大限度发挥多核处理器的计算能力,提高系统的吞吐量和性能。

但是如果随意使用多线程,对系统的性能反而有不利影响。

比如下面的情况:

创建线程是需要时间的,假设线程创建所需时间为T1,线程执行任务时间为T2,线程销毁时间为T3,而往往T1+T3>T2。所以频繁创建和销毁线程也会消耗大量的时间。

如果有任务来了,再去创建线程的话效率比较低。

其次线程也需要占用内存空间,线程池可以管理控制线程,线程是稀缺资源,如果无休止的创建会消耗系统资源,还会降低系统稳定性。

因此,为了避免频繁的创建和销毁线程,让创建的线程进行复用,就有了线程池的概念。

使用线程池可以进行统一分配,方便调优和监控。

线程池里会维护一部分活跃线程,如果有需要,就去线程池里取线程使用,用完即归还到线程池里,免去了创建和销毁线程的开销,且线程池也会线程的数量有一定的限制。

二、线程池的使用

线程池的基类是 concurrent.futures 模块中的 Executor。

Executor 提供了两个子类,即 ThreadPoolExecutor 和 ProcessPoolExecutor。

其中 ThreadPoolExecutor 用于创建线程池,而 ProcessPoolExecutor 用于创建进程池。

如果使用线程池/进程池来管理并发编程,那么只要将相应的 task 函数提交给线程池/进程池,剩下的事情就由线程池/进程池来搞定。

Exectuor 提供了如下常用方法:

  1. submit
submit(fn, *args, **kwargs)

submit 将 fn 函数提交给线程池。

*args 代表传给 fn 函数的参数。

*kwargs 代表以关键字参数的形式为 fn 函数传入参数。

  1. map
map(func, *iterables, timeout=None, chunksize=1)

map 函数类似于全局函数 map(func, *iterables),只是该函数将会启动多个线程,以异步方式立即对 iterables 执行 map 处理。

  1. 关闭线程池。
shutdown(wait=True)

程序将函数提交(submit)给线程池后,subm

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值