python实现http请求并发_用grequests实现并发http请求

起因

要用http请求探测服务的有效性，多进程，多线程，感觉似乎没有必要，看看有没有协程的方案

1. 简单用法

grequests 利用 requests和gevent库，做了一个简单封装，使用起来非常方便

import grequests

import time

import requests

urls = [

'https://docs.python.org/2.7/library/index.html',

'https://docs.python.org/2.7/library/dl.html',

'http://www.iciba.com/partial',

'http://2489843.blog.51cto.com/2479843/1407808',

'http://blog.csdn.net/woshiaotian/article/details/61027814',

'https://docs.python.org/2.7/library/unix.html',

'http://2489843.blog.51cto.com/2479843/1386820',

'http://www.bazhuayu.com/tutorial/extract_loop_url.aspx?t=0',

]

def method1():

t1 = time.time()

for url in urls:

res = requests.get(url)

#print res.status_code

t2 = time.time()

print 'method1', t2 - t1

def method2():

tasks = [grequests.get(u) for u in urls]

t1 = time.time()

res = grequests.map(tasks, size=3)

# print res

t2 = time.time()

print 'method2', t2 - t1

def method3():

tasks = [grequests.get(u) for u in urls]

t1 = time.time()

res = grequests.map(tasks, size=6)

# print res

t2 = time.time()

if __name__ == '__main__':

method1()

method2()

method3()

运行结果如下：

method1 8.51106119156

method2 5.77834510803

method3 2.55373907089

可以看到使用协程以后，整个程序的完成时间有了大大缩短，并且每个协程的并发粒度也会影响整体时间

2. 重要参数

这里需要补充的是几个

grequests

def grequests.map(requests, stream=False, size=None, exception_handler=None, gtimeout=None)

参数

说明

备注

size

协程的并发度

当一个协程进行IO等待的时候，就会将CPU交给其他协程序，一般设置为50 ~ 100足矣

exception_handler

协程的并发度

捕获单个请求的异常

gtimeout

整体请求的超时设置

另外，由于grequests底层使用的是requests，因此它支持

GET，OPTIONS， HEAD， POST， PUT， DELETE 等各种http method

所以以下的任务请求都是支持的

grequests.post(url, json={"name":"zhangsan"})

grequests.delete(url)

3. 事件钩子

grequests的底层库，是requests，因此它也支持事件钩子

def print_url(r, *args, **kwargs):

print(r.url)

url = "http://www.baidu.com"

# 1.

res = requests.get(url, hooks={"response":print_url})

# 2.

tasks = []

req = grequests.get(url, callback=print_url)

tasks.append(req)

res = grequests.map(tasks)

参考资料: