python限制最大线程数(不一样的方法)

实际工作中会遇到有成千上万个任务想使用多线程来完成,而计算机无法同时处理这么多线程,通常来说会因为内存消耗完而无法创建新的线程。
在诸多大佬的博客中找到如下解决方案:

import threading
import time
 
sem=threading.Semaphore(4)  #限制线程的最大数量为4个
 
def gothread():
    with sem:   #锁定线程的最大数量
        for i in range(5):
            print(threading.current_thread().name,i)
            time.sleep(1)
 
for i in range(5000):
    threading.Thread(target=gothread).start()

但是该方案无法解决我遇到的问题,内存依然会沾满。通过分析,锁定信号的变量sem在线程内阻塞,等待前面的线程执行结束。就是说实际上有多上任务就会开多少线程,只是超过限制的部分线程在线程内阻塞。内存依然会被消耗殆尽。为了控制最大线程数,达到最大线程时应在线程外阻塞,有线程结束后再创建新线程,改进如下:

import threading
import time

sem=threading.Semaphore(4) #限制线程的最大数量为4个

def gothread():
    for i in range(5):
        print(threading.current_thread().name,i)
        time.sleep(1)
    sem.release()
       
for i in range(5000):
    sem.acquire()
    threading.Thread(target=gothread).start()
  • 5
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python中,可以使用threading模块中的Semaphore类或BoundedSemaphore类来限制线程最大数量。Semaphore类是一个计器,用于控制对共享资源的访问。当一个线程需要访问共享资源时,它必须先获得一个信号量,如果当前可用的信号量数量为0,则线程将被阻塞,直到有一个信号量可用为止。当线程完成对共享资源的访问后,它必须释放信号量,以便其他线程可以访问该资源。BoundedSemaphore类与Semaphore类类似,但是它可以防止信号量数量超过初始值。在使用Semaphore类或BoundedSemaphore类时,需要先创建一个Semaphore对象或BoundedSemaphore对象,并指定最大线程,然后在每个线程中使用acquire()方法获取信号量,使用release()方法释放信号量。下面是一个使用Semaphore类控制线程最大的示例代码: ``` import threading class MyThread(threading.Thread): def __init__(self, sem, num): threading.Thread.__init__(self) self.sem = sem self.num = num def run(self): self.sem.acquire() print("Thread %d is running" % self.num) self.sem.release() if __name__ == '__main__': sem = threading.Semaphore(5) # 最大线程为5 for i in range(10): t = MyThread(sem, i) t.start() ``` 上述代码中,创建了一个Semaphore对象sem,最大线程为5。在每个线程中,使用acquire()方法获取信号量,使用release()方法释放信号量。当可用信号量数量为0时,线程将被阻塞,直到有一个信号量可用为止。运行上述代码后,可以看到最多同时有5个线程在运行。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值