python 协程可以嵌套协程吗_看几段爬虫代码，详解Python多线程、多进程、协程...-CSDN博客

点击上方“编程派”，选择设为“设为星标”

优质文章，第一时间送达！

一、前言

很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。

二、同步

首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中 parse_1 函数可以设定循环次数，每次循环将当前循环数(从0开始)和url传入 parse_2 函数。

import requests

性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 示例代码就是典型的串行逻辑， parse_1 将url和循环数传递给 parse_2 ， parse_2 请求并返回状态码后 parse_1 继续迭代一次，重复之前步骤

三、多线程

因为CPU在执行程序时每个时间刻度上只会存在一个线程，因此多线程实际上提高了进程的使用率从而提高了CPU的使用率实现多线程的库有很多，这里用 concurrent.futures 中的 ThreadPoolExecutor 来演示。介绍 ThreadPoolExecutor 库是因为它相比其他库代码更简洁

为了方便说明问题，下面代码中如果是新增加的部分，代码行前会加上 > 符号便于观察说明问题，实际运行需要去掉

import requests

跟同步相对的就是异步。异步就是彼此独立,在等待某事件的过程中继续做自己的事，不需要等待这一事件完成后再工作。线程就是实现异步的一个方式，也就是说多线程是异步处理异步就意味着不知道处理结果，有时候我们需要了解处理结果，就可以采用回调

import requests

Python实现多线程有一个无数人诟病的GIL(全局解释器锁)，但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适。

四、多进程

多进程用两个方法实现： ProcessPoolExecutor 和 multiprocessing

1. ProcessPoolExecutor

和实现多线程的 ThreadPoolExecutor 类似

import requests

可以看到改动了两次类名，代码依旧很简洁，同理也可以添加回调函数

import requests

2. multiprocessing

直接看代码，一切都在注释中。

import requests

可以看到 multiprocessing 库的代码稍繁琐，但支持更多的拓展。多进程和多线程确实能够达到加速的目的，但如果遇到IO阻塞会出现线程或者进程的浪费，因此有一个更好的方法……

五、异步非阻塞

协程+回调 配合动态协作就可以达到异步非阻塞的目的，本质只用了一个线程，所以很大程度利用了资源实现异步非阻塞经典是利用 asyncio 库+ yield ，为了方便利用逐渐出现了更上层的封装 aiohttp ，要想更好的理解异步非阻塞最好还是深入了解 asyncio 库。而 gevent 是一个非常方便实现协程的库