twisted系列教材一异步编程

 

文:http://krondo.com/blog/?p=1209

 

前言

最近有人在twisted邮件列表中问有没有一个可以让人快速学习twisted的文档.总体的来说:这个系列不是这样的一个文档.如果你没有很多时间或者耐心的话,这个系列的文章不太适合你.

不过,如果你对异步编程了解很少的话,相信一个简短的介绍也不让你完全明白,当然如果你是天才除外.我学习和使用twisted已经好几年了,通过这几年的学习和工作我得出的结论就是:学习twisted困难的地方就是对异步编程的理解而不是怎样去用twisted 的函数去写代码. twisted 的代码写的都很简洁和清晰,而且有很好的注释和文档,但是如果没有理解异步编程的思想而直接去读twisted 的源码的话会让你有twisted 的感觉.

这个系列的第一篇会讲异步编程,后面的章节才会降到twisted.首先让我们以一个简单的实例来说明异步编程是怎么工作的吧.

模型

为了更好的理解异步模型,我们先来回顾一下我们经常遇到的一些模型:同步模型和多线程模型.让我们假想一个程序要完成三个任务,先让我们看看同步模型是怎么来工作的,如下图,

图片一

这个是最简单的执行任务的方式,也是我们在平常写程序的时候经常用到的,完成一项工作之后再去做另外一件事情,每次只执行一项任务.

我们可以比较同步模型多线程模型,如下图:

图片二

在这种模型当中,每一个任务被分配在单独的线程当中工作,多个任务可以同时进行,这种模型下,每个任务是被认为是独立的.但是在现实中,很多时候每个线程并不是独立,在运行的过程中需要从其他的线程中去获取结果,这样就使各个进行的交互和协作变得复杂,在一个大的系统中,进程之间的交互会更复杂.

最后是我们要讲的异步模型.如下图

图片三

在异步模型中,每个任务进行交替进行,但是仍在一个进程中.异步模型会比多线程模型更简单些,因为每个任务的运行状态都是可以被我们控制的.虽然在同步模型也可以让任务交替运行,但这往往需要多个线程协作才能完成.单线程异步模式可以保证程序运行在一个线程中,即使在一个多进程系统中.

异步模型和多线程模型还有一个不同的地方是,多线程除了程序的控制之外,还受到操作系统的控制.相反的在一个异步模型的程序中,一个任务会一直运行下去,直到任务被运行完或者程序暂停这个任务而去执行令一个任务.

重要的一点是,在异步模型可以多线程模型可以很好结合起来,但在这个系列教程中我们还只涉及到异步模型.

为什么(为毛)

从上面的讲解中我们可以看到异步模型比多线程模型更简单些,因为异步模型只有一个进程而且任务的停止和运行状态是可控的.但比同步模型相比还是比较复杂,程序员必须把每一个任务分成很多步然后再有序的把他们组合起来,如果一个任务用到了令一个任务的结果,这个任务需要接受另一个任务的输出做为他自己的输入, 而且这种接收的数据经常是一段一段的而不是一个整体. 你不禁要问既然异步模型和同步模型都是一个线程,他们执行相同的任务应该花费相同的时间啊,甚至比同步模型花费的时间更多,为什么要才采用异步的模型呢?

这里最少有两个原因,第一,如果多个任务中的一个任务负责实现一个人机交互接口,在等待用户输入的时候,可以让其他的任务先去执行,等用户输入时再去处理用户的输入.

所以如果说异步模型比同步模型快的话是有条件限制的,如果你的程序中会有阻塞,或者被强迫等待,异步模型会是你的选择.同步模型在有阻塞的时候的执行过程应该是这样的

图片四

在这个图中灰色的部分代表了一个任务正在等待(阻塞).  为什么一个任务会被阻塞呢? 一个经常的原因就是等待执行I/O ,传输数据. 一般来说CPU 处理数据的速度比磁盘和网络块,因此当一个同步的程序要处理很多I/O时会花费很多时间用于等待,这样的一个同步程序也被叫做”阻塞程序”

注意图片4,一个阻塞程序,有点像图片3,一个异步程序.这不是一个巧合,异步模型的设计原理就是,当其中一个任务被阻塞时,可以先去执行其他的可以执行的任务.所以一个异步程序仅仅会在没有任务可以执行的时候,所以一个异步程序也会被叫做无阻塞程序.如果一个程序中有很多阻塞的任务,异步模型可以比同步模型更高效.

和同步模型相比,异步模型在下列情况时表现更好:

1,有很多任务,经常总有一个任务可以继续执行的时候

2,这些任务中要执行很多I/O操作

3,这些任务大多都是独立的

这些情况大都描述了一个非常繁忙的web server,每一个任务代表了一次接收请求和发送结果,而这些client 请求大多都是独立的,所以一个web server 的实现一个很好的异步模型的实现,这就是twisted被叫做网络编程库.

Onward and Upward

这个系列的第一个部分就完啦,在第二部分,我们将写一些网络程序,阻塞的和非阻塞的都有,没有用twisted.让我们先体会一下一个异步的程序是怎样运行的.