往期推荐
Python多线程的使用
Python线程池的使用
Lock与RLock的区别
B站同名【有温度的算法】已经上线
想观看视频讲解的同学
点击此处直达B站
介绍
因为新建线程系统需要分配资源、终止线程系统需要回收资源,所以如果可以重用线程,则可以减去新建/终止的开销以提升性能。同时,使用线程池的语法比自己新建线程执行线程更加简洁。
Python为我们提供了ThreadPoolExecutor来实现线程池,此线程池默认子线程守护。它的适应场景为突发性大量请求或需要大量线程完成任务,但实际任务处理时间较短。比如我们需要下载大量歌曲,我们就可以建立线程池进行下载。
map方法
from concurrent.futures import ThreadPoolExecutor
from time import sleep
import random
random.seed (1)
def music(music_name):
x = random.randint(1,4)
print('正在下载{}'.format(music_name))
sleep(x)
return '{}下载成功, 花费{}秒'.format(music_name, x)
if __name__ == '__main__':
with ThreadPoolExecutor(max_workers=5) as executor:
ans = executor.map(music, ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海'])
for res in ans:
print(res)
print('全部下载完成!!!')
首先导入库,使用with方法建立线程池,max_workers为线程池中的线程个数,然后使用map方法启动线程对需下载歌曲进行遍历。
map(map_fun, itr_arg)方法与python中的map函数一样,参数map_fun需要传入要执行的函数,itr_arg传入一个可迭代的参数,比如列表。map函数会按照列表中的先后顺序进行遍历。
因为案例中的函数有返回值,所以我们使用变量ans进行接收。即使后运行的线程率先完成任务,也并不会影响ans的返回顺序,它的返回顺序与map函数遍历的顺序相同。
比如我们将线程池的线程数设置为5,那么就会对5首歌同时进行下载,可以看到七里香只花费了1秒,它是第二个开始运行但却是第一个下载结束,所以在返回时它的返回值仍是第二的位置,而不是第一个返回。
----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!
若将max_workers设置为2,则会先对列表中前2首歌同时下载,然后下载第三首与第四首,最后下载最后一首,返回结果是按从头到尾的顺序。
----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
正在下载珊瑚海
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!
submit+as_completed方法
submit(fun, args)方法的第一个参数依然是我们需要执行的函数,但是第二个参数我们只能传入一个值,而不是一个可迭代的参数。
在接受结果时,使用as_completed方法,返回结果是谁先结束就返回谁!而不再按照顺序返回,我们可以使用result()方法接收结果。
from concurrent.futures import ThreadPoolExecutor, as_completed
from time import sleep
import random
random.seed (1)
def music(music_name):
x = random.randint(1,4)
print('正在下载{}'.format(music_name))
sleep(x)
return '{}下载成功, 花费{}秒'.format(music_name, x)
if __name__ == '__main__':
with ThreadPoolExecutor(max_workers=5) as executor:
music_list = ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海']
ans = [executor.submit(music, m) for m in music_list]
for res in as_completed(ans):
print(res.result())
print('全部下载完成!!!')
我们可以看到在使用submit+as_complete之后,返回结果为先下载完成的歌曲率先返回。若不使用as_complete,返回结果依旧是按遍历顺序返回,与map结果一致,但是代码繁琐了。
----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
浪漫手机下载成功, 花费1秒
七里香下载成功, 花费1秒
稻香下载成功, 花费2秒
游园会下载成功, 花费3秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!
根据业务场景的不同,若我们需要结果顺序返回,我们就用map方法,若想谁先完成则返回谁,我们就用submit+as_complete方法。
获取本章代码集合,可关注公众号【AI有温度】,在后台回复【多线程】即可获取。