python信号量与线程池

Python信号量与线程池

Python信号量

• 概述：信号量是用来 控制线程并发数的。
• 原理：BoundedSemaphore和Semaphore管理一个内置的计数器。每当 资源释放递增时(调用acquire)计数器-1,资源消耗时递减(调用release)计数器+1。
• 调用格式： threading.BoundedSemaphore/Semaphore(value);值默认1
• 使用场景： 排队上厕所，一大群人上一个坑位有限的厕所
• BoundedSemaphore和Semaphore区别： semphore() :当调用relarse()函数的时候 单纯+1 不会检查信号量的上限情况。 初始参数为0；boudedsemphore()：边界信号量 当调用relarse() 会+1 , 并且会检查信号量的上限情况。不允许超过上限，使用budedsemaphore时候不允许设置初始为0，将会抛出异常，至少设置为1

注意事项： 计数器不能小于0,当计数器为0时:acquire()将阻塞线程至同步锁定状态,直到其他线程调用release()。

加入有10个人，厕所只有3个坑位
如果不加入信号量，如下：

import threading,time,random

def func (name):
   
    print(name,'进入厕所开始拉屎！！')
    time.sleep(random.randint(0,10)*1)
    print(name, '完事了！！', name, '刚占用的坑可用了')
   
name_list = ['曹操','赵云','孙悟空','花木兰','宫本武藏','露娜','程咬金','牛魔','项羽','白起']

for i in range(10):
    t=threading.Thread(target=func,args=(name_list[i],))
    t.start()

执行结果如下：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200722143205979.png
可以看出都憋不住了，一拥而上！也不知道都是这么完事的…
加入信号量就不一样了:

import threading,time,random
semaphore=threading.BoundedSemaphore(3)  # 3个坑位
def func (name):
    semaphore.acquire()   # 获得坑位，坑位减1
    print(name,'进入厕所开始拉屎！！')
    time.sleep(random.randint(0,10)*1)
    print(name, '完事了！！', name, '刚占用的坑可用了')
    semaphore.release()# 完事，坑位加1
name_list = ['曹操','赵云','孙悟空','花木兰','宫本武藏','露娜','程咬金','牛魔','项羽','白起']

for i in range(10):
    t=threading.Thread(target=func,args=(name_list[i],))
    t.start()

执行结果如下：

python 线程池

线程池的基类是 concurrent.futures 模块中的 Executor，Executor 提供了两个子类，即 ThreadPoolExecutor 和 ProcessPoolExecutor，其中 ThreadPoolExecutor 用于创建线程池，而 ProcessPoolExecutor 用于创建进程池。

Exectuor 提供了如下常用方法：

• submit(fn, *args, **kwargs)：将 fn 函数提交给线程池。*args 代表传给 fn 函数的参数，*kwargs 代表以关键字参数的形式为 fn 函数传入参数。
• map(func, *iterables, timeout=None, chunksize=1)：该函数类似于全局函数 map(func, *iterables)，只是该函数将会启动多个线程，以异步方式立即对 iterables 执行 map 处理。
• shutdown(wait=True)：关闭线程池。

程序将 task 函数提交（submit）给线程池后，submit 方法会返回一个 Future 对象，Future 类主要用于获取线程任务函数的返回值。由于线程任务会在新线程中以异步方式执行，因此，线程执行的函数相当于一个“将来完成”的任务，所以 Python 使用 Future 来代表。

Future 提供了如下方法：

• cancel()：取消该 Future 代表的线程任务。如果该任务正在执行，不可取消，则该方法返回 False；否则，程序会取消该任务，并返回 True。
• cancelled()：返回 Future 代表的线程任务是否被成功取消。
• running()：如果该 Future 代表的线程任务正在执行、不可被取消，该方法返回 True。
• done()：如果该 Funture 代表的线程任务被成功取消或执行完成，则该方法返回 True。
• result(timeout=None)：获取该 Future 代表的线程任务最后返回的结果。如果 Future 代表的线程任务还未完成，该方法将会阻塞当前线程，其中 timeout 参数指定最多阻塞多少秒。
• exception(timeout=None)：获取该 Future 代表的线程任务所引发的异常。如果该任务成功完成，没有异常，则该方法返回 None。
• add_done_callback(fn)：为该 Future 代表的线程任务注册一个“回调函数”，当该任务成功完成时，程序会自动触发该 fn 函数。

在用完一个线程池后，应该调用该线程池的 shutdown() 方法，该方法将启动线程池的关闭序列。调用 shutdown() 方法后的线程池不再接收新任务，但会将以前所有的已提交任务执行完成。当线程池中的所有任务都执行完成后，该线程池中的所有线程都会死亡。
同样，进程池的方式是一样的：

submit:

import threading,time,random
from concurrent.futures import ThreadPoolExecutor

def func (name):
    print(name,'进入厕所开始拉屎！！')
    time.sleep(random.randint(0,10)*1)
    print(name, '完事了！！', name, '刚占用的坑可用了')
name_list = ['曹操','赵云','孙悟空','花木兰','宫本武藏','露娜','程咬金','牛魔','项羽','白起']

poor = ThreadPoolExecutor(3)
for i in range(10):
    poor.submit(func, name_list[i])

map:

import threading,time,random
from concurrent.futures import ThreadPoolExecutor

def func (name):
    print(name,'进入厕所开始拉屎！！')
    time.sleep(random.randint(0,10)*1)
    print(name, '完事了！！', name, '刚占用的坑可用了')
name_list = ['曹操','赵云','孙悟空','花木兰','宫本武藏','露娜','程咬金','牛魔','项羽','白起']

poor = ThreadPoolExecutor(3)
poor.map(func, name_list)

结果如下：

目的都是为了控制线程的并发数。