python 多线程web服务框架_Tornado实现多线程、多进程HTTP服务

背景

线上有一个相关百科的服务，返回一个query中提及的百科词条。该服务是用python实现的，以前通过thrift接口访问，现要将其改为通过HTTP访问。之前没有搭建HTTPServer的经验，因此想用python的web Framework来做这件事，于是有了下面的工作。第一部分是框架选择，这一部分没有太仔细考虑，只是大概看了一些文章。第二部分是根据所需要的功能，学习及测试在框架上应该如何实现。第三部分是实际的代码。第四部分是下一步的学习。

框架选择

python有很多开源的web framework。从知乎上找了几篇综述型的简介，大体包括：Django、Bottle、Flask、web2py、Tornado。看中了介绍中提及Tornado的速度与并发量，于是打算用tornado来实现。所以按目前的了解，或许Tornado并非实现本工作的最佳方案，只是一个可行方案。

学习与测试

用tornado开发web服务的基本流程

tornado具有web framework的功能，因此用它开发web服务非常方便：

实现处理请求的Handler，该类继承自tornado.web.RequestHandler，实现用于处理请求的对应方法如：get、post等。返回内容用self.write方法输出。

实例化一个Application。构造函数的参数是一个Handlers列表，通过正则表达式，将请求与Handler对应起来。通过dict将Handler需要的其他对象以参数的方式传递给Handler的initialize方法。

初始化一个tornado.httpserver.HTTPServer对象，构造函数的参数是上一步的Application对象。

为HTTPServer对象绑定一个端口。

开始IOLoop。

原服务的特点

原服务是一个内存占用大，IO密集，计算量适中的服务。

内存占用大。需要加载一个比较大的词表，其中每个词对应一个id列表，这一部分是C++实现的，通过boost.python封装为python可调用的so。原服务单进程占用内存超过5G。

IO密集。计算过程中大量访问redis读取term及baikeid的属性信息，用于过滤及rank计算。也访问在线分词服务，获取各term的NLP分析。

计算量适中。划词匹配、rank计算有一定计算量，但是总体来看计算量不是特别大。python单进程每天500多万的访问量，单CPU利用率也就40%-50%之间。

关于服务的分析：

内存占用大。内存占用大，但绝大部分是只读的。不适合独立启动多个进程，适合多线程或用子进程。

IO密集。适合将IO操作都变为异步请求，或者用多线程模型。

计算量适中。由于python解释器使用GIL，多线程只能提高IO的并发能力，不能提高计算的并发能力。因此可以考虑通过子进程的方式，适当增加提供服务的进程数，提高整个系统服务能力的上限。

需要用到的特性

由于tornado的亮点是异步请求，所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题，就是异步函数内一定不能有阻塞调用出现，否则整个IOLoop都会被卡住。这就要求彻底地去改造服务，将所有IO或是用时较长的请求都改造为异步函数。这个工程量是非常大的，需要去修改已有的代码。因此，我们考虑用线程池的方式去实现。当一个线程阻塞在某个请求或IO时，其他线程或IOLoop会继续执行。

另外一个瓶颈就是GIL限制了CPU的并发数量，因此考虑用子进程的方式增加进程数，提高服务能力上限。

综合上面的分析，大致用以下方案：

通过子进程的方式复制多个进程，使子进程中的只读页指向同一个物理页。<