aiohttp
1. aiohttp是干啥用得?
- requests库是一个阻塞式http请求库,当我们发出一个请求后,程序会一直等待服务器响应,只有响应后,程序才会进行下一步处理。这个过程比较耗时,那么程序是否可以在这个等待过程做一些其他事情(如:请求的调度,响应的处理,进而爬取效率会有所提高。)
- aiohttp是提供异步Web服务的库,aiohttp的异步操作借助于async/await(python3.5之后版本)关键字写法变得更加简洁,架构更加清楚。使用异步请求库抓取时,大大提高效率,
- 安装方法:简单粗暴:pip install aiohttp
- 安装成功了,另外官方还建议安装两个库:①字符编码检测库cchardet;②加速DNS的解析库aiodns;
- 安装命令:pip install cchardet aiodns;
- 安装成功,验证一下;python交互环境下,导入aiohttp看是否报错,没报错就成功了。
它可以做什么,维护一个代理池,异步方式检测大量代理的运行状况等。