python 协程爬虫_突破python爬取极限，超牛逼的异步协程爬虫

异步协程

1. event_loop

2. coroutine

中文翻译叫协程，在 Python 中昌指代为协程对象类型，可以将协程对象注册到时间循环中被调用。使用 async 关键字来定义的方法在调用时不会立即执行，而是返回一个协程对象。

总耗时大概是2.65秒，你是不是觉得这就很快了？其实还有更快的代码：

大约0.98秒就可以爬完所有的网页。

这是因为第一种方法并不是真正的异步请求，在异步协程中如果出现同步模块相关的代码则无法实现异步，比如requests.get()属于同步模块的代码。

要想实现真正的异步协程爬虫必须使用基于异步的网络请求模块，所以要使用 aiohttp 模块，这个模块需要安装：

它的使用与 requests 模块类似，需要注意的是，aiohttp 获取响应数据操作之前一定要使用 await 进行挂起。

在执行协程的时候，如果遇到了 await，那么就会将当前协程挂起，转而执行其它的协程，直到其它协程也挂起或执行完毕，再进行下一个协程的执行。

想学python的小伙伴可以vx关注我：芝麻代理

学习视频免费分享

回复资料分享即可领取