asyncio
是Python3.4
引入的标准库,直接内置了对异步IO
的支持。
asyncio
的编程模型是一个消息循环,从 asyncio
模块中获取一个 EventLoop
的引用,然后把需要执行的协程扔到 EventLoop
中执行,就实现了异步IO
。
- 当处理流出现
IO
阻塞时,线程并不会等待IO
操作执行完,而是去EventLoop
中执行下一个协程。
import asyncio
import time
import threading
# 1号协程
@asyncio.coroutine
def hello():
time.sleep(1)
print('我们如此相遇,我们如此分离', threading.currentThread)
yield from asyncio.sleep(1)
print('这世界已经改变我和你')
# 2号协程
@asyncio.coroutine
def bey():
time.sleep(1)
print('我想和你一样……', threading.currentThread)
yield from asyncio.sleep(1)
print('臭不要脸')
# 定义一个eventloop,可以理解为事件池,用于存放 协程
loop = asyncio.get_event_loop()
# 当只有一个协程时, 直接加入即可。
# loop.run_until_complete(hello())
# 当有多个协程时, 要先将多个协程组成一个会话列表 tasks。
# 将 asyncio.wait(tasks) 作为参数传给run_until_complete()
tasks = [hello(), bey()]
loop.run_until_complete(asyncio.wait(tasks))
# 关闭
loop.close()
返回值如下(会详细说明执行流程):
# (time.sleep(1) 延时后开始)打印以下内容
hello() 打印内容: 我想和你一样…… <function current_thread at 0x00000215B424F7B8>
# (执行到 yield from asyncio.sleep(1) 因为asyncio.sleep也是个生成器,sleep函数会进入阻塞状态,此时并不会等待堵塞结束再执行之后的内容,而是直接进入下一个程序,相当于两块处理程序在一起执行。达到了异步的效果,time.sleep(1) 延时 1 秒后开始打印以下内容。)
bey() 打印内容: 我们如此相遇,我们如此分离 <function current_thread at 0x00000215B424F7B8>
hello() 打印内容: 臭不要脸
bey() 打印内容: 这世界已经改变我和你
我们用asyncio
的异步网络连接来获取sina
、sohu
和 163
的网站首页:(采用)
参考链接:
https://stackoverflow.com/questions/22190403/how-could-i-use-requests-in-asyncio
import asyncio
import requests
# 我们用asyncio的异步网络连接来获取sina、sohu和163的网站首页:
@asyncio.coroutine
def spiderFunc(url):
loop = asyncio.get_event_loop()
future1 = loop.run_in_executor(None, requests.get, url)
res = yield from future1
# res = yield from asyncio.sleep(1)
print(res.text)
loop = asyncio.get_event_loop()
tasks = [spiderFunc(i) for i in ('http://www.sina.com.cn/', 'https://www.baidu.com/', 'http://www.163.com/')]
loop.run_until_complete(asyncio.wait(tasks))
loop.close
其中第7 行和第8行的用法,请参考上面给的 stackoverflow 的参考链接。
以上的用法是 Python3.4
时引入的,现在 Python 3.5
开始引入了新的语法async
和await
,可以让coroutine
的代码更简洁易读。 主要学习Python 3.5
中的用法吧。下一节会记录async
和await
的用法
asyncio 的推荐相关链接: