Python并行化

计算密集型和数据密集型解释

futures包的使用

当处理的数据很小时大可不必考虑并行的问题，但是一但处理可并行化的任务以及大文件时，让程序并行化无疑能提高很大的性能。
需要并行的任务很多，比如IO密集型的爬数据，读写磁盘等，CPU计算密集型的计算任务等等。而Python由于GIL的原因，默认情况下只能单线程运行，无法直接利用硬件的多核多线程，因此效率较低，python也早提供了一些列的多线程多进程的库可以用来使用，比如multiprocessing, queue 等等, 不过使用起来都相对复杂，不易控制。 经过几番尝试发现，发现futures基本是最方便将单线程/进程代码改为并发的代码的一个模块。

futures的使用：

#!/usr/bin/env python
# encoding: utf-8
from concurrent import futures
import requests
r = requests.Session()
def func(url):
    data = r.get(url).text
    return data
task_list = ["https://www.163.com", "https://www.zhibo8.cc", "https://www.baidu.com"]
res = []
with futures.ThreadPoolExecutor(max_workers=2) as executor:
   f_tasks = {executor.submit(func, url): url for url in task_list}
   for f in futures.as_completed(f_tasks):
            url = f_tasks[f]
            try:
                data = f.result()
                res.append(data)
                print(f"{url} finished")
            except Exception as exc:
                print(f"{url} in wrong:{exc}")

futures详细介绍
futures介绍
futures官方示例