Python 爬虫之GRequests异步模块

Python 爬虫之GRequests异步模块

 

十分想念顺店杂可。。。

 

运行环境：

系统： win10

Python版本： Python 3.6.6

 

GRequests是异步非阻塞的异步请求第三方包，使用了协程gevent，GRequests封装了gevent的requests模块。

 

安装：

 

pip install grequests

 

简单使用

# -*- coding: utf-8 -*-
# @Time    : 2019/6/13 10:02
# @Author  : 甄超锋
# @Email   : 4535@sohu.com
# @File    : test.py
# @Software: PyCharm

import grequests

urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://fakedomain/',
    'http://kenneth