python异步编程 图书_Python异步编程介绍

作者： Jake Edge 于2017年6月28日

在他的PyCon 2017演讲中，Miguel Grinberg希望通过Python来介绍异步编程给完全的初学者。 有很多关于异步Python的讨论，特别是随着asyncio模块的出现 。但是有多种方法可以创建异步Python程序，其中许多方法已经可用了很长时间。 在演讲中，Grinberg从这些解决方案的复杂性中退了一步，从更高层次来看异步处理方式。

他开始谈到，尽管他在基于Python的Flask 网页微型框架上做了大量的工作，这个演讲不会是关于Flask的。他写的是Flask Mega-Tutorial (一本关于Flask的书 )，但是在演讲中他会提到不到十次，这是他令人羡慕的壮举。他还开发了一个用于Socket.IO的Python服务器 ，它开始于前面说的 “框架”，但没料到它 “自己的生活” 已经开始了。

Miguel Grinberg

他询问参加者是否听到有人说 “异步会使你的代码更快速” 。如果是这样，他说，他的演讲会解释为什么人们这么说。 他开始简单地定义 “异步(async)” (因为 “asynchronous” 通常被缩短)。 它是并行编程的一种方法，这意味着一次执行很多操作。他在这里提到的不仅仅是asyncio ，因为有许多方法可以让Python一次性执行多个操作。

然后他回顾了这些机制。首先是多个进程，其中操作系统(OS)执行多任务的所有工作。 在CPython(参考Python实现)中，这是使用系统中所有核的唯一方法。 另一种同时做多个事情的方式是使用多线程，这也是操作系统处理多任务的一种方式，但Python的全局解释器锁(Global Interpreter Lock，GIL)会阻止多核并发。另一方面，异步编程不需要OS参与。 只有有一个进程和线程，但该程序可以一次完成多项操作。 他问： “诀窍是什么？”

象棋

他转向了一个现实世界的例子：一个象棋大师在象棋展，同时面对24个对手。 “在电脑杀死象棋之前，这些展览定期进行，但他不确定是否现今还在。” 如果每个游戏需要大约30个成对移动来完成，如果连续玩(每个成对移动一分钟)，大师将需要12小时才能完成比赛。 但是，通过在每个游戏中依次进行动作，整个练习可以在一个小时内完成。 大师只是在一个棋盘上(在五秒钟内)移动，然后继续下一步，在大师返回之前(进行另外23个动作)后，让对手有很多时间移动。 格林伯格说，那位大师在那个时候会 “让大家玩好” 。

人们正在谈论的异步编程就是 “这样的快速” 。象棋大师没有优化玩的更快，只是工作安排得好，使他们不浪费时间做无谓的等待。 他说： “这是异步编程的完整秘密” ，他说： “这就是怎么运作的”。 在这种情况下，CPU就是象棋大师，它等待尽可能少的时间。

但与会者可能想知道如何只使用一个进程和一个线程来完成。 如何实现异步？ 需要的一件事是，一种方法可以来暂停和恢复执行函数。他们将在等待时挂起(suspend)且在等待结束时恢复(resume)。 这听起来很难做，但在Python中有四种方法可以在不涉及操作系统的情况下进行。

他的第一个方法是回调函数，这是 “显而易见(gross)” ，他说。 如此显而易见，事实上，他甚至没有举个例子。 另一个是使用生成器函数 ，这是Python长期以来的一部分。最近的Python从3.5开始，具有async和await关键字 ，可以用于异步程序。 还有一个第三方软件包， greenlet ，它有一个Python的C扩展，以支持挂起和恢复。

还需要有一件事情以支持异步编程：调度器，可以跟踪挂起的函数，并在正确的时间恢复它们。在异步世界中，该调度程序被称为 “事件循环” 。 当函数暂停时，它将控制权返回给事件循环，该循环找到另一个需要启动或恢复的函数。 这不是一个新的想法; 它与Windows和macOS的旧版本中使用的 “合作多任务” 实际上是一样的。

例子

Grinberg创建了一个使用一些不同机制的简单 “hello world” 程序的例子 。 他在演讲中并没有讲到他们的全部，也鼓励观众看其余的部分。 他开始于一个简单的同步示例，它具有在打印 “Hello” 和 “World！” 之间睡三秒钟的功能。 如果他在一个循环中调用了十次，则需要30秒才能完成，因为每个函数都将背靠背运行。

然后他使用asyncio显示了两个例子。它们本质上是一样的，但是一个使用@coroutine装饰器(decorator)给函数且在函数体内使用yield from(生成器函数的风格)，而另一个使用async def的函数，并在函数体中await。 两者都使用asyncio版本的sleep()函数在两次print()调用之间休眠三秒钟。 除了这些差异，还有一些样板设置事件循环并从中调用函数，这两个函数具有与原始示例相同的核心代码。非样板差异是有意设计的; asyncio使代码挂起和恢复的地方 “非常明确” 。

这两个程序如下所示：

# async/await version

import asyncio

loop = asyncio.get_event_loop()

async def hello():

print('Hello')

await asyncio.sleep(3)

print('World!')

if __name__ == '__main__':

loop.run_until_complete(hello())

# @coroutine decorator version

import asyncio

loop = asyncio.get_event_loop()

@asyncio.coroutine

def hello():

print('Hello')

yield from asyncio.sleep(3)

print('World!')

if __name__ == '__main__':

loop.run_until_complete(hello())

运行程序给出了预期的结果(两个字符串之间的三秒钟)，但是如果你在循环中包装函数调用，它会变得更有趣。 如果循环十次迭代，结果将是十个 “Hello” 字符串，三秒钟等待，然后十个 “World！” 字符串。

另外还有一些asyncio以外的示例，包括greenlet和Twisted。greenlet示例看起来与同步示例几乎完全相同，只是使用不同的sleep() 。 那就是因为greenlet试图使异步编程变得透明，但是隐藏这些差异可能是一个祝福也可能是诅咒，Grinberg说。

陷阱

在异步编程中有一些陷阱，人们总是会栽在这些事情上。如果有一个任务要求CPU使用量大，那么在进行计算时就不会做任何事情了。 为了让其他事情发生，计算需要定期释放CPU。这可以通过睡眠0秒来完成，例如(使用等待asyncio.sleep(0))。

然而，许多Python标准库以阻塞方式编写，因此套接字， 子进程和线程模块(以及使用它们的其他模块)以及诸如time.sleep()之类的简单内容不能在异步程序中使用。 Grinberg说，所有的异步框架都为这些模块提供了自己的非阻塞替换，但这意味着 “你必须重新学习如何做这些你已经知道如何做的事情” 。

Eventlet和gevent，它们都是基于greenlet的，它们都可以用来修补标准库，使其与异步兼容，但这不是asyncio的功能。 它是一个不试图隐藏程序异步性质的框架。asyncio希望您在设计和编写代码时考虑异步编程。

对照

他结束他的演讲，比较了不同类别的进程，线程和异步。 所有这些技术都优化了等待期; 进程和线程让操作系统为他们做，而异步程序和框架为自己做。只有进程可以使用系统的所有内核，但线程和异步程序不能使用。 这导致一些人编写程序，将每个核心的一个进程与线程和/或异步功能相结合，这可以很好地工作，他说。

可扩展性是 “有趣的” 。 运行多个进程意味着有多个Python副本，应用程序和所有在内存中使用的资源，所以在相当少的同时进程(数十个进程是可能的限制)后，系统将耗尽内存，Grinberg说。线程更轻巧，所以可以有更多的，甚至数百个。但异步程序是 “非常轻量级的” ，可以处理成千上万个同时执行的任务。

阻塞标准库函数可以从进程和线程使用，但不能用于异步程序。GIL只会干扰线程，进程和异步可以和它共存就可以了。 不过，他指出，即使对于他经验中的线程，GIL只有 “一些” 干扰; 当线程在I/O上被阻塞时，它们将不会保持GIL，所以操作系统将给予另一个线程CPU。

在这种比较中，没有几个能比async好。Grinberg说，Python的异步程序的主要优点是它们允许的大规模扩展。 因此，如果您的服务器将处于超级忙碌状态并处理大量同时发生的客户端，则async可能会帮助您避免购买服务器而破产。 异步编程模型也可能由于其他原因而有吸引力，这是完全有效的，但严格按照处理优势，表明可缩放(scaling)是async真正获胜的地方。

[我要感谢Linux基金会为去波特兰参加PyCon提供的旅行援助。]