python 用grequest 实现真·高并发爬虫

之前都是使用多线程来实现效率的提升，但是由于python的GIL锁的原因，导致所谓的多线程并不是多并发，而是当爬虫发出去的请求还未等到返回的间隙，继续执行别的线程，相当于交替轮流执行，是伪多并发。
而grequest库封装了gevent和requests，实现了真正的多并发请求，不过也不是说来多少并发多少，也是有边界的，所以通过size参数设置一下同时并发数。

import grequests

urls = ["https://www.baidu.com", "https://www.hao123.com", "https://www.taobao.com"]
req = (grequests.get(u) for u in urls)
resp = grequests.map(req, size=10)  # 10个并发
print(resp)

执行结果如下：

[<Response [200]>, <Response [200]>, <Response [200]>]

如果要查看网页的内容进行解析什么的，循环打印resp里面的内容即可：

for i in resp:
    print(i.text)