python gevent asyncio_同步、异步（gevent，asyncio）、多线程（threading)效率对比

对比了三种情况下采集50个网页所需时间，可以看出多线程在效率上是远高于gevent的。第一次测试的时候，没有使用monkey这个补丁，socket是阻塞调用的，效率并没有提升，因为还是同步运行的，使用monkey补丁后，使socket变为协作运行，效率大大提升。

Python的运行环境允许我们在运行时修改大部分的对象，包括模块，类甚至函数。 这是个一般说来令人惊奇的坏主意，因为它创造了“隐式的副作用”，如果出现问题 它很多时候是极难调试的。虽然如此，在极端情况下当一个库需要修改Python本身 的基础行为的时候，猴子补丁就派上用场了。在这种情况下，gevent能够 修改标准库里面大部分的阻塞式系统调用，包括socket、ssl、threading和 select等模块，而变为协作式运行。

例如，Redis的python绑定一般使用常规的tcp socket来与redis-server实例通信。 通过简单地调用gevent.monkey.patch_all()，可以使得redis的绑定协作式的调度 请求，与gevent栈的其它部分一起工作。

这让我们可以将一般不能与gevent共同工作的库结合起来，而不用写哪怕一行代码。 虽然猴子补丁仍然是邪恶的(evil)，但在这种情况下它是“有用的邪恶(useful evil)”。

执行的结果分别是

同步执行：4.50s

gevent异步：0.47s

threading多线程：0.58s

更新asyncio： 1.1s

gevent并不是同时执行，还是按顺序执行，并未打乱输出结果，多线程不按顺序执行，打乱了输出结果。网络状况好(IO操作延时低)的情况下，gevent能稍微提高点效率，IO操作很费时的情况gevent效率将大大提高，效率最高的还是多线程。

gevent:当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。gevent - 廖雪峰的官方网站

# /usr/bin/python3

# -*- coding: utf-8 -*-

# Copyright (c) 2017 - walker

import gevent

import requests

import re

import timeit

import codecs

from threading import Thread

from gevent import monkey

monkey.patch_socket()

def get_title(url,title_list=[]):

try:

r = requests.get(url,timeout=5)

r.encoding = 'utf8'

html = r.text

title = re.search(r'

(.*?)',html).group(1)

except TimeoutError:

title = ''

if title:

title_list.append(title)

return title

def get_url():

baseurl = 'http://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd=%s'

f = codecs.open('muci.txt','r','utf8')

url_list = []

for key in f.readlines():

url_list.append(baseurl % key.strip())

return url_list

url_list = get_url()

def run1():

title_list = []

for url in url_list:

get_title(url,title_list)

# title_list.append(title)

print('Sync result length:',len(title_list),title_list)

return title_list

def run2():

title_list = []

threads = [gevent.spawn(get_title,url,title_list) for url in url_list]

gevent.joinall(threads)

# title_list = [thread.value for thread in threads]

print('gevent result length:',len(title_list),title_list)

return title_list

def run3():

title_list = []

th = []

for url in url_list:

t = Thread(target=get_title,args=(url,title_list))

th.append(t)

t.start()

for t in th:

t.join()

print('threading result length:',len(title_list),title_list)

return title_list

if __name__ == '__main__':

t1 = timeit.timeit('run1()',setup="from __main__ import run1",number=1)

print('sync time:',t1)

t2 = timeit.timeit('run2()',setup="from __main__ import run2",number=1)

print('gevent time:',t2)

t3 = timeit.timeit('run3()',setup="from __main__ import run3",number=1)

print('thread time:',t3)

放到django下查看页面生成的时间

同步：19065ms

gevent：1555ms

threading：1166ms

更新

增加python3.5下的asyncio测试,时间比gevent和threading长一点，1.1s

async def get_title2():

loop = asyncio.get_event_loop()

title_list = []

io = []

for url in url_list:

# get_title(url, title_list)

io.append(loop.run_in_executor(None,get_title,url,title_list))

for i in io:

await i

print(threading.current_thread(), 'Sync result length:', len(title_list), title_list)

return title_list

def run4():

loop = asyncio.get_event_loop()

loop.run_until_complete(get_title2())

if __name__ == '__main__':

global url_list

url_list = get_url()

t4 = timeit.timeit('run4()', setup="from __main__ import run4", number=1)

print('thread time:', t4)