作者: Jake Edge 于2017年6月28日
在他的PyCon 2017演讲中,Miguel Grinberg希望通过Python来介绍异步编程给完全的初学者。 有很多关于异步Python的讨论,特别是随着asyncio模块的出现 。但是有多种方法可以创建异步Python程序,其中许多方法已经可用了很长时间。 在演讲中,Grinberg从这些解决方案的复杂性中退了一步,从更高层次来看异步处理方式。
他开始谈到,尽管他在基于Python的Flask 网页微型框架上做了大量的工作,这个演讲不会是关于Flask的。他写的是Flask Mega-Tutorial (一本关于Flask的书 ),但是在演讲中他会提到不到十次,这是他令人羡慕的壮举。他还开发了一个用于Socket.IO的Python服务器 ,它开始于前面说的 “框架”,但没料到它 “自己的生活” 已经开始了。
Miguel Grinberg
他询问参加者是否听到有人说 “异步会使你的代码更快速” 。如果是这样,他说,他的演讲会解释为什么人们这么说。 他开始简单地定义 “异步(async)” (因为 “asynchronous” 通常被缩短)。 它是并行编程的一种方法,这意味着一次执行很多操作。他在这里提到的不仅仅是asyncio ,因为有许多方法可以让Python一次性执行多个操作。
然后他回顾了这些机制。首先是多个进程,其中操作系统(OS)执行多任务的所有工作。 在CPython(参考Python实现)中,这是使用系统中所有核的唯一方法。 另一种同时做多个事情的方式是使用多线程,这也是操作系统处理多任务的一种方式,但Python的全局解释器锁(Global Interpreter Lock,GIL)会阻止多核并发。另一方面,异步编程不需要OS参与。 只有有一个进程和线程,但该程序可以一次完成多项操作。 他问: “诀窍是什么?”
象棋
他转向了一个现实世界的例子:一个象棋大师在象棋展,同时面对24个对手。 “在电脑杀死象棋之前,这些展览定期进行,但他不确定是否现今还在。” 如果每个游戏需要大约30个成对移动来完成,如果连续玩(每个成对移动一分钟),大师将需要12小时才能完成比赛。 但是,通过在每个游戏中依次进行动作,整个练习可以在一个小时内完成。 大师只是在一个棋盘上(在五秒钟内)移动,然后继续下一步,在大师返回之前(进行另外23个动作)后,让对手有很多时间移动。 格林伯格说,那位大师在那个时候会 “让大家玩好” 。
人们正在谈论的异步编程就是 “这样的快速” 。象棋大师没有优化玩的更快,只是工作安排得好,使他们不浪费时间做无谓的等待。 他说: “这是异步编程的完整秘密” ,他说: “这就是怎么运作的”。 在这种情况下,CPU就是象棋大师,它等待尽可能少的时间。
但与会者可能想知道如何只使用一个进程和一个线程来完成。 如何实现异步? 需要的一件事是,一种方法可以来暂停和恢复执行函数。他们将在等待时挂起(suspend)且在等待结束时恢复(resume)。 这听起来很难做,但在Python中有四种方法可以在不涉及操作系统的情况下进行。
他的第一个方法是回调函数,这是 “显而易见(gross)” ,他说。 如此显而易见,事实上,他甚至没有举个例子。 另一个是使用生成器函数 ,这是Python长期以来的一部分。最近的Python从3.5开始,具有async和await关键字 ,可以用于异步程序。 还有一个第三方软件包, greenlet ,它有一个Python的C扩展,以支持挂起和恢复。
还需要有一件事情以支持异步编程:调度器,可以跟踪挂起的函数,并在正确的时间恢复它们。在异步世界中,该调度程序被称为 “事件循环” 。 当函数暂停时,它将控制权返回给事件循环,该循环找到另一个需要启动或恢复的函数。 这不是一个新的想法; 它与Windows和macOS的旧版本中使用的 “合作多任务” 实际上是一样的。
例子
Grinberg创建了一个使用一些不同机制的简单 “hello world” 程序的例子 。 他在演讲中并没有讲到他们的全部,也鼓励观众看其余的部分。 他开始于一个简单的同步示例,它具有在打印 “Hello” 和 “World!” 之间睡三秒钟的功能。 如果他在一个循环中调用了十次,则需要30秒才能完成,因为每个函数都将背靠背运行。
然后他使用asyncio显示了两个例子。它们本质上是一样的,但是一个使用@coroutine装饰器(decorator)给函数且在函数体内使用yield from(生成器函数的风格),而另一个使用async def的函数,并在函数体中await。 两者都使用asyncio版本的sleep()函数在两次print()调用之间休眠三秒钟。 除了这些差异,还有一些样板设置事件循环并从中调用函数,这两个函数具有与原始示例相同的核心代码。非样板差异是有意设计的; asyncio使代码挂起和恢复的地方 “非常明确” 。
这两个程序如下所示:
# async/await version
import asyncio
loop = asyncio.get_event_loop()
async def hello():
print('Hello')
await asyncio.sleep(3)
print('World!')
if __name__ == '__main__':
loop.run_until_complete(hello())
# @coroutine decorator version
import asyncio
loop = asyncio.get_event_loop()
@asyncio.coroutine
def hello():
print('Hello')
yield from asyncio.sleep(3)
print('World!')
if __name__ == '__main__':
loop.run_until_complete(hello())
运行程序给出了预期的结果(两个字符串之间的三秒钟),但是如果你在循环中包装函数调用,它会变得更有趣。 如果循环十次迭代,结果将是十个 “Hello” 字符串,三秒钟等待,然后十个 “World!” 字符串。
另外还有一些asyncio以外的示例,包括greenlet和Twisted。greenlet示例看起来与同步示例几乎完全相同,只是使用不同的sleep() 。 那就是因为greenlet试图使异步编程变得透明,但是隐藏这些差异可能是一个祝福也可能是诅咒,Grinberg说。
陷阱
在异步编程中有一些陷阱,人们总是会栽在这些事情上。如果有一个任务要求CPU使用量大,那么在进行计算时就不会做任何事情了。 为了让其他事情发生,计算需要定期释放CPU。这可以通过睡眠0秒来完成,例如(使用等待asyncio.sleep(0))。
然而,许多Python标准库以阻塞方式编写,因此套接字, 子进程和线程模块(以及使用它们的其他模块)以及诸如time.sleep()之类的简单内容不能在异步程序中使用。 Grinberg说,所有的异步框架都为这些模块提供了自己的非阻塞替换,但这意味着 “你必须重新学习如何做这些你已经知道如何做的事情” 。
Eventlet和gevent,它们都是基于greenlet的,它们都可以用来修补标准库,使其与异步兼容,但这不是asyncio的功能。 它是一个不试图隐藏程序异步性质的框架。asyncio希望您在设计和编写代码时考虑异步编程。
对照
他结束他的演讲,比较了不同类别的进程,线程和异步。 所有这些技术都优化了等待期; 进程和线程让操作系统为他们做,而异步程序和框架为自己做。只有进程可以使用系统的所有内核,但线程和异步程序不能使用。 这导致一些人编写程序,将每个核心的一个进程与线程和/或异步功能相结合,这可以很好地工作,他说。
可扩展性是 “有趣的” 。 运行多个进程意味着有多个Python副本,应用程序和所有在内存中使用的资源,所以在相当少的同时进程(数十个进程是可能的限制)后,系统将耗尽内存,Grinberg说。线程更轻巧,所以可以有更多的,甚至数百个。但异步程序是 “非常轻量级的” ,可以处理成千上万个同时执行的任务。
阻塞标准库函数可以从进程和线程使用,但不能用于异步程序。GIL只会干扰线程,进程和异步可以和它共存就可以了。 不过,他指出,即使对于他经验中的线程,GIL只有 “一些” 干扰; 当线程在I/O上被阻塞时,它们将不会保持GIL,所以操作系统将给予另一个线程CPU。
在这种比较中,没有几个能比async好。Grinberg说,Python的异步程序的主要优点是它们允许的大规模扩展。 因此,如果您的服务器将处于超级忙碌状态并处理大量同时发生的客户端,则async可能会帮助您避免购买服务器而破产。 异步编程模型也可能由于其他原因而有吸引力,这是完全有效的,但严格按照处理优势,表明可缩放(scaling)是async真正获胜的地方。
[我要感谢Linux基金会为去波特兰参加PyCon提供的旅行援助。]