Tornado源码阅读总览

最新推荐文章于 2020-08-16 17:25:20 发布

刘一痕

最新推荐文章于 2020-08-16 17:25:20 发布

阅读量546

点赞数

分类专栏： Python/Ruby

本文链接：https://blog.csdn.net/u013177568/article/details/62432875

版权

Python/Ruby 专栏收录该内容

46 篇文章 1 订阅

订阅专栏

最近花了2周时间断断续续地阅读了 Tornado 的源码，写了“Tornado源码解析”这个系列专题。由于写得比较散，这里简单做一个索引与导读。

为什么要选择 Tornado 这个框架？先给大家讲一个小故事：

“[web.py inspired the] web framework we use at FriendFeed [and] the webapp framework that ships with App Engine…”

— Brett Taylor, co-founder of FriendFeed and original tech lead on Google App Engine

FriendFeed 创始人用了 web.py 作为他们的框架，然后爱上了web.py 。后来他发现web.py的一些不足，然后就创造了一个很像 web.py 的框架 Tornado，性能会强上一些。

更多关于 Tornado 的细节可以参看专题里面具体小节的内容，下面我们开始导读。

1. 为什么要阅读Tornado的源码？

From: 为什么要阅读Tornado的源码？

Tornado 由前 google 员工开发，代码非常精练，实现也很轻巧，加上清晰的注释和丰富的 demo，我们可以很容易的阅读分析 tornado. 通过阅读 Tornado 的源码，你将学到：

理解 Tornado 的内部实现，使用 tornado 进行 web 开发将更加得心应手。
如何实现一个高性能，非阻塞的 http 服务器。
如何实现一个 web 框架。
各种网络编程的知识，比如 epoll
python 编程的绝佳实践

2. 一览众山小

我们先了解 Tornado 的框架组成，才知道哪些部分是核心内容，应该重点看，哪些可以迟些再看。

1. Core web framework

tornado.web — 包含web框架的大部分主要功能，包含RequestHandler和Application两个重要的类
tornado.httpserver — 一个无阻塞HTTP服务器的实现
tornado.template — 模版系统
tornado.escape — HTML,JSON,URLs等的编码解码和一些字符串操作
tornado.locale — 国际化支持

2. Asynchronous networking 底层模块

tornado.ioloop — 核心的I/O循环
tornado.iostream — 对非阻塞式的 socket 的简单封装，以方便常用读写操作
tornado.httpclient — 一个无阻塞的HTTP服务器实现
tornado.netutil — 一些网络应用的实现，主要实现TCPServer类

3. Integration with other services

tornado.auth — 使用OpenId和OAuth进行第三方登录
tornado.database — 简单的MySQL服务端封装
tornado.platform.twisted — 在Tornado上运行为Twisted实现的代码
tornado.websocket — 实现和浏览器的双向通信
tornado.wsgi — 与其他python网络框架/服务器的相互操作

4. Utilities

tornado.autoreload — 生产环境中自动检查代码更新
tornado.gen — 一个基于生成器的接口，使用该模块保证代码异步运行
tornado.httputil — 分析HTTP请求内容
tornado.options — 解析终端参数
tornado.process — 多进程实现的封装
tornado.stack_context — 用于异步环境中对回调函数的上下文保存、异常处理
tornado.testing — 单元测试

要读哪些内容？

你可以参看这篇文章来了解需要读哪些文件：Tornado源码必须要读的几个核心文件

Core web framework 部分，tornado.web 包含web框架的大部分主要功能，这个需要重点看，它包含RequestHandler和Application两个重要的类。Application 是个单例，总揽全局路由，创建服务器负责监听，并把服务器传回来的请求进行转发（__call__）。RequestHandler 是个功能很丰富的类，基本上 web 开发需要的它都具备了，比如redirect，flush，close，header，cookie，render（模板），xsrf，etag等等。关于这个模块的解析，可以参看以下三篇文章：

Tornado RequestHandler和Application类
Application对象的接口与起到的作用
RequestHandler的分析

接下来是 tornado.httpserver，一个无阻塞HTTP服务器的实现。从 web 跟踪到 httpserver.py 和 tcpserver.py。这两个文件主要是实现 http 协议，解析 header 和 body，生成request，回调给 appliaction，一个经典意义上的 http 服务器（written in python）。众所周知，这是个很考究性能的一块（IO），所以它和其它很多块都连接到了一起，比如 IOLoop，IOStream，HTTPConnection 等等。这里 HTTPConnection 是实现了 http 协议的部分，它关注 Connection 嘛，这是 http 才有的。至于监听端口，IO事件，读写缓冲区，建立连接之类都是在它的下层–tcp里需要考虑的，所以，tcpserver 才是和它们打交道的地方。关键部分是 HTTP 层与 TCP 层的工作原理：

HTTP层：HTTPRequest,HTTPServer与HTTPConnection
Tornado在TCP层里的工作机制

剩下的 tornado.template，tornado.escape 之类的可以先不阅读，会使用就行。

接下来是 Asynchronous networking 底层模块，特别是底层的网络模块。

tornado.ioloop 是核心的I/O循环，需要重点看。如果你用过 select/poll/epoll/libevent 的话，对它的处理模型应该相当熟悉。简言之，就是一个大大的循环，循环里等待事件，然后处理事件。这是开发高性能服务器的常见模型，tornado 的异步能力就是在这个类里得到保证的：