python 线程池用法_Python标准模块--concurrent.futures 进程池线程池终极用法

concurrent.futures 这个模块是异步调用的机制

concurrent.futures 提交任务都是用submit

for + submit 多个任务的提交

shutdown 是等效于Pool中的close+join，是指不允许再继续向池中增加任务，然后让父进程(线程)等待池中所有进程执行完所有任务。

针对计算密集的程序来说

不管是Pool的进程池还是ProcessPoolExecutor()的进程池，执行效率相当

ThreadPoolExecutor 的效率要差很多

所以 当计算密集时，使用多进程。

#1 介绍

concurrent.futures模块提供了高度封装的异步调用接口

ThreadPoolExecutor：线程池，提供异步调用

ProcessPoolExecutor: 进程池，提供异步调用

Both implement the same interface, which is defined by the abstract Executor class.

#2 基本方法

#submit(fn, *args, **kwargs)

异步提交任务

#map(func, *iterables, timeout=None, chunksize=1)

取代for循环submit的操作

#shutdown(wait=True)

相当于进程池的pool.close()+pool.join()操作

wait=True，等待池内所有任务执行完毕回收完资源后才继续

wait=False，立即返回，并不会等待池内的任务执行完毕

但不管wait参数为何值，整个程序都会等到所有任务执行完毕

submit和map必须在shutdown之前

#result(timeout=None)

取得结果

#add_done_callback(fn)

回调函数

线程池:

#线程池

from concurrent.futures import ThreadPoolExecutor

import time

def func(num):

print('这是我的第%s次' % num)

time.sleep(1)

t = ThreadPoolExecutor(100)

for i in range(1000):

t.submit(func,i)

t.shutdown()

进程池:

# 进程池 需要 __main__

from concurrent.futures import ProcessPoolExecutor

import time

def func(num):

print('这是我的第%s次' % num)

time.sleep(1)

if __name__ == '__main__':

p = ProcessPoolExecutor(5) # 建议进程池中最大进程数量为cpu核心数+1

for i in range(1,1001):

p.submit(func,i)

p.shutdown()

回调函数:

方法: map,submit,add_done_callback,result

进程池中的回调函数是父进程调用的，和子进程没有关系

线程池中的回调函数是子线程调用的，和父线程没有关系 (current thread())

# 进程池回调函数

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor

import os

import requests

def func(num):

info = '这是我的第%s' % num

return info

def call_back_func(res):

print(res.result())

if __name__ == '__main__':

p = ProcessPoolExecutor(20)

for i in range(1000):

p.submit(func,i).add_done_callback(call_back_func)

p.shutdown()

# 线程池回调函数

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor

import os

import requests

def func(num):

info = '这是我的第%s' % num

return info

def call_back_func(res):

print(res.result())

if __name__ == '__main__':

p = ThreadPoolExecutor(20)

for i in range(1000):

p.submit(func,i).add_done_callback(call_back_func)

p.shutdown()