一、threadpool 基本用法
pip install threadpool
pool =ThreadPool(poolsize)
requests=makeRequests(some_callable, list_of_args, callback)
[pool.putRequest(req)for req inrequests]
pool.wait()
第一行定义了一个线程池,表示最多可以创建poolsize这么多线程;
第二行是调用makeRequests创建了要开启多线程的函数,以及函数相关参数和回调函数,其中回调函数可以不写,default是无,也就是说makeRequests只需要2个参数就可以运行;
第三行使用列表生成式代替for循环,是将所有要运行多线程的请求扔进线程池,
[pool.putRequest(req) for req in requests]等同于
for req in requests:
pool.putRequest(req)
第四行是等待所有的线程完成工作后退出。
二、代码实例
要处理的函数,只需要一个传参:
importtimeimportthreadpooldefsayhello(str):print "Hello",str
time.sleep(2)
name_list=['xiaozi','aa','bb','cc']
start_time=time.time()
pool= threadpool.ThreadPool(10)
requests=threadpool.makeRequests(sayhello, name_list)
[pool.putRequest(req)for req inrequests]
pool.wait()print '%d second'% (time.time()-start_time)
要处理的函数,只需要N个传参:
方式一:---参数列表元素需要用元组,([args,...], None)
importtimeimportthreadpooldefsayhello(a, b, c):print("Hello",a, b, c)
time.sleep(2)defcall_back():print('call_back...........')
name_list= [([1,2,3], None), ([4,5,6], None) ]
start_time=time.time()
pool= threadpool.ThreadPool(10)
requests=threadpool.makeRequests(sayhello, name_list)
[pool.putRequest(req)for req inrequests]
pool.wait()print('%d second'% (time.time()-start_time))
Hello 1 2 3
Hello 4 5 6
2 second
Process finished with exit code 0
方式二:---参数列表元素需要用元组,(None, {'key':'value', .......})
importtimeimportthreadpooldefsayhello(a, b, c):print("Hello",a, b, c)
time.sleep(2)defcall_back():print('call_back...........')#name_list = [([1,2,3], None), ([4,5,6], None) ]
name_list = [(None, {'a':1,'b':2,'c':3}), (None, {'a':4,'b':5, 'c':6}) ]
start_time=time.time()
pool= threadpool.ThreadPool(10)
requests=threadpool.makeRequests(sayhello, name_list)
[pool.putRequest(req)for req inrequests]
pool.wait()print('%d second'% (time.time()-start_time))
concurrent.futures 的ThreadPoolExecutor (线程池)
https://www.jianshu.com/p/6d6e4f745c27
从Python3.2开始,标准库为我们提供了 concurrent.futures 模块,它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类。
相比 threading 等模块,该模块通过 submit 返回的是一个 future 对象,它是一个未来可期的对象,通过它可以获悉线程的状态主线程(或进程)中可以获取某一个线程(进程)执行的状态或者某一个任务执行的状态及返回值:
主线程可以获取某一个线程(或者任务的)的状态,以及返回值。
当一个线程完成的时候,主线程能够立即知道。
让多线程和多进程的编码接口一致。
线程池的基本使用
#!/usr/bin/env python3#-*- coding:utf-8 -*-#@Time: 2020/11/21 17:55#@Author:zhangmingda#@File: ThreadPoolExecutor_study.py#@Software: PyCharm#Description:
from concurrent.futures importThreadPoolExecutorimporttime
task_args_list= [('zhangsan', 2),('lishi',3), ('wangwu', 4)]deftask(name, seconds):print('% sleep %s seconds start...' %(name, seconds))
time.sleep(seconds)print('% sleep %s seconds done' %(name, seconds))return '%s task done' %name
with ThreadPoolExecutor(max_workers=5) as t:#[ t.submit(task, *arg) for arg in task_args_list]
task1 = t.submit(task, '张三', 1)
task2= t.submit(task, '李四', 2)
task3= t.submit(task, '王五', 2)
task4= t.submit(task, '赵柳', 3)print(task1.done())print(task2.done())print(task3.done())print(task4.done())
time.sleep(2)print(task1.done())print(task2.done())print(task3.done())print(task4.done())print(task1.result())print(task2.result())print(task3.result())print(task4.result())
使用 with 语句 ,通过 ThreadPoolExecutor 构造实例,同时传入 max_workers 参数来设置线程池中最多能同时运行的线程数目。
使用 submit 函数来提交线程需要执行的任务到线程池中,并返回该任务的句柄(类似于文件、画图),注意 submit() 不是阻塞的,而是立即返回。
通过使用 done() 方法判断该任务是否结束。上面的例子可以看出,提交任务后立即判断任务状态,显示四个任务都未完成。在延时2.5后,task1 和 task2 执行完毕,task3 仍在执行中。
使用 result() 方法可以获取任务的返回值 【注意result 是阻塞的会阻塞主线程】
主要方法:
wait
wait(fs, timeout=None, return_when=ALL_COMPLETED)
wait 接受三个参数:
fs: 表示需要执行的序列
timeout: 等待的最大时间,如果超过这个时间即使线程未执行完成也将返回
return_when:表示wait返回结果的条件,默认为 ALL_COMPLETED 全部执行完成再返回;可指定FIRST_COMPLETED 当第一个执行完就退出阻塞
from concurrent.futures importThreadPoolExecutor,wait,FIRST_COMPLETED, ALL_COMPLETEDimporttime
task_args_list= [('zhangsan', 1),('lishi',2), ('wangwu', 3)]
task_list=[]deftask(name, seconds):print('% sleep %s seconds start...' %(name, seconds))
time.sleep(seconds)print('% sleep %s seconds done' %(name, seconds))return '%s task done' %name
with ThreadPoolExecutor(max_workers=5) as t:
[task_list.append(t.submit(task,*arg)) for arg intask_args_list]
wait(task_list, return_when=FIRST_COMPLETED) #等了一秒
print('all_task_submit_complete! and First task complete!')print(wait(task_list,timeout=1.5)) #又等了1.5秒,合计等了2.5秒
as_completed
上面虽提供了判断任务是否结束的方法,但是不能在主线程中一直判断。最好的方法是当某个任务结束了,就给主线程返回结果,而不是一直判断每个任务是否结束。
concurrent.futures 中 的 as_completed() 就是这样一个方法,当子线程中的任务执行完后,直接用 result() 获取返回结果
task_args_list = [('zhangsan', 1),('lishi',3), ('wangwu', 2)]
task_list=[]deftask(name, seconds):print('%s sleep %s seconds start...' %(name, seconds))
time.sleep(seconds)return '%s sleep %s seconds done' %(name, seconds)
with ThreadPoolExecutor(max_workers=5) as t:
[task_list.append(t.submit(task,*arg)) for arg intask_args_list]
[print(future.result()) for future inas_completed(task_list)]print('All Task Done!!!!!!!!!')
map
map(fn, *iterables, timeout=None)
fn: 第一个参数 fn 是需要线程执行的函数;
iterables:第二个参数接受一个可迭代对象;
timeout: 第三个参数 timeout 跟 wait() 的 timeout 一样,但由于 map 是返回线程执行的结果,如果 timeout小于线程执行时间会抛异常 TimeoutError。
用法如下:
defspider(page):
time.sleep(page)returnpage
start=time.time()
executor= ThreadPoolExecutor(max_workers=4)
i= 1
for result in executor.map(spider, [2, 3, 1, 4]):print("task{}:{}".format(i, result))
i+= 1
#运行结果
task1:2task2:3task3:1task4:4
使用 map 方法,无需提前使用 submit 方法,map 方法与 python 高阶函数 map 的含义相同,都是将序列中的每个元素都执行同一个函数。
上面的代码对列表中的每个元素都执行 spider() 函数,并分配各线程池。
可以看到执行结果与上面的 as_completed() 方法的结果不同,输出顺序和列表的顺序相同,就算 1s 的任务先执行完成,也会先打印前面提交的任务返回的结果。