线程池与进程池

1、线程池

从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的更高级的抽象，是使用异步实现，充分利用CPU提高程序执行效率，对编写线程池/进程池提供了直接的支持，而传统的进程池/线程池是使用阻塞式实现的；python2.7版本可以安装futures模块，使用方式和python3一样。
其中：concurrent.futures基础模块是executor和future

ThreadPoolExecutor:适用于IO密集型任务，受GIL影响，还是只能利用单核CPU资源

ProcessPoolExecutor:适用于计算密集型，可以充分利用多核CUP，会以子进程的形式，平行的运行多个解释器，子进程与主解释相分离，每个子进程都可以完整的利用一个CPU内核，实现真正的平行计算；但是多进程会增大系统开销，主进程和子进程之间进行通信必须进行序列化和反序列化操作

调用线程池的简化代码：

from concurrent.futures import wait, ALL_COMPLETED, ThreadPoolExecutor, as_completed
# as_completed返回一个执行状态的迭代器
with ThreadPoolExecutor(max_workers=workers) as executor:
	# executor.submit提交到任务列表，并返回一个可调用执行的future
	future_do_job = {executor.submit(get_one_subdns, domain): domain for domain in domains}
	# wait等待所有任务都执行完毕才返回，return_when控制返回状态，timeout控制最大等待时间
	for future in as_completed(future_do_job, timeout=600):
		try:
			# future.done判断任务是否执行结束
			if future.done():
				# future.result获取任务执行的返回结果
				sub_domains = future.result()
				print('{}: {}'.format(future_do_job[future], sub_domains))
				if len(sub_domains) > 0:
					all_subdns.extend(sub_domains)
		except Exception as e:
			print(e)
			future.cancel()

# wait返回两个set列表，分别为已经完成的和未完成的
with ThreadPoolExecutor(max_workers=workers) as executor:
	# executor.submit提交到任务列表，并返回一个可调用执行的future
	future_do_job = {executor.submit(dns_resolve, domain): domain for domain in all_domains}
	# wait等待所有任务都执行完毕才返回，return_when控制返回状态，timeout控制最大等待时间
	done_futures, not_done_futures = wait(future_do_job, timeout=600, return_when=ALL_COMPLETED)
	for future in done_futures:
		domain = future_do_job[future]
		try:
			ips = future.result()
			print('{}: {}'.format(domain, ''.join(ips)))
			for ip in ips:
				ip_rele_domains[ip].add(domain)
		except Exception as e:
			print('{} dns resolve failed, Exception is {}'.format(domain, str(e)))
			future.cancel()

	for future in not_done_futures:
		domain = future_do_job[future]
		print('{} dns resolve failed'.format(domain))
		future.cancel()

""" 异步线程池可以直接获得函数返回结果 """
from concurrent.futures import ThreadPoolExecutor
import time

def return_future_result(message):
    time.sleep(2)
    return message

pool = ThreadPoolExecutor(max_workers=2)  # 创建一个最大可容纳2个task的线程池
future1 = pool.submit(return_future_result, ("hello"))  # 往线程池里面加入一个task
future2 = pool.submit(return_future_result, ("world"))  # 往线程池里面加入一个task
print(future1.done())  # 判断task1是否结束
time.sleep(3)
print(future2.done())  # 判断task2是否结束
print(future1.result())  # 查看task1返回的结果
print(future2.result())  # 查看task2返回的结果

concurrent.futures的详细使用参见如下链接：

https://blog.csdn.net/dutsoft/article/details/54728706

threading 多线程控制和处理

python如何充分利用多核CPU

线程池和进程池的使用方式类似，只需将Thread换成Process