网上很多关于Python协程asyncio模块的教程都是基于老版Python的, 本文将以对比方式展示新老Python版本下协程的写法有什么不同并总结了asyncio的一些高级用法, 包括如何获取协程任务执行结果,gather和wait方法的区别以及如何给任务添加回调函数。
Python协程及asyncio基础知识
协程(coroutine)也叫微线程,是实现多任务的另一种方式,是比线程更小的执行单元,一般运行在单进程和单线程上。因为它自带CPU的上下文,它可以通过简单的事件循环切换任务,比进程和线程的切换效率更高,这是因为进程和线程的切换由操作系统进行。
Python实现协程的主要借助于两个库:asyncio
和gevent
。由于asyncio已经成为python的标准库了无需pip安装即可使用,这意味着asyncio
作为Python原生的协程实现方式会更加流行。本文仅会介绍asyncio
模块。如果大家对gevent
也有需求,请留言,我会单独写篇文章介绍这个库的使用。
asyncio
是从Python3.4引入的标准库,直接内置了对协程异步IO的支持。asyncio 的编程模型本质是一个消息循环,我们一般先定义一个协程函数(或任务), 从 asyncio 模块中获取事件循环loop,然后把需要执行的协程任务(或任务列表)扔到 loop中执行,就实现了异步IO。
定义协程函数及执行方法的演变
在最早的Python 3.4中,协程函数是通过@asyncio.coroutine
和 yeild from
实现的, 如下所示。
import asyncio
@asyncio.coroutine
def func1(i):
print("协程函数{}马上开始执行。".format(i))
yield from asyncio.sleep(2)
print("协程函数{}执行完毕!".format(i))
if __name__ == '__main__':
# 获取事件循环
loop = asyncio.get_event_loop()
# 执行协程任务
loop.run_until_complete(func1(1))
# 关闭事件循环
loop.close()
这里我们定义了一个func1
的协程函数,我们可以使用asyncio.iscoroutinefunction
来验证。定义好协程函数后,我们首先获取事件循环loop,使用它的run_until_complete
方法执行协程任务,然后关闭loop。
print(asyncio.iscoroutinefunction(func1(1))) # True
Python 3.5以后引入了async/await
语法定义协程函数,代码如下所示。每个协程函数都以async
声明,以区别于普通函数,对于耗时的代码或函数我们使用await
声明,表示碰到等待时挂起,以切换到其它任务。