【淘宝Web服务器 Tengine】

最新推荐文章于 2021-08-10 10:34:39 发布

lijieshare

最新推荐文章于 2021-08-10 10:34:39 发布

阅读量322

点赞数

分类专栏： Web服务器 Tengine 文章标签：【淘宝Web服务器 Tengine】

Web服务器 Tengine 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Tengine是由淘宝网发起的Web服务器项目。开发语言:C/C++。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

Nginx是近几年脱颖而出的一个非常优秀的Web服务器，它以资源消耗低、并发能力强著称，现在是世界上第三大Web服务器。在淘宝，我们用它来服务静态文件、PHP动态页面，做反向代理和负载均衡等。根据淘宝的实际需求，我们开发了数十个不同用途的模块。但随着使用的增多，它的一些不足和有待改进的地方也逐渐凸显。例如，Nginx不支持动态模块加载，不同的应用往往需要编译不同的RPM包，从而导致运维比较麻烦；Nginx欠缺输入请求体过滤器机制，从而使得开发安全模块比较困难；不支持Syslog的方式发送日志，导致日志管理烦琐等。Nginx缺少的这些功能都不能通过开发第三方模块来实现，因此我们开始对它的核心进行深度定制和开发。另外，我们在Web服务器领域也积累了一些经验和创新性的想法，希望在Nginx优秀的基础上，继续加强它的性能、安全和可运维性。这就是Tengine项目的由来。

Tengine对Nginx主要改进模块

应用模块：concatuser_agentfooterslice

upstream模块：upstream_check

框架模块和Web开发：Lua

管理模块：backtracesysguardtraffic status

核心补丁或模块：dsoinput body filtersyslog CPU affinity procs

数据结构：4-heap， trie

计时器优化

Timers（计时器）是网络服务器中一个很重要的基础设置，用来管理读写超时和应用逻辑的超时等。其常见操作有添加超时、删除超时以及查找最小的超时值。Nginx使用Red-black tree（红黑树）作为其计时器的数据结构。红黑树对应于添加、删除和查找最小值的算法复杂度都是O(logn)。在Tengine中，我们将Nginx的计时器数据结构改为了4-heap（四叉最小堆）。四叉堆是二叉堆的变种，比二叉堆有更浅的深度和更好的CPUCache命中率。最小堆的添加、删除的复杂度和红黑树一样都是O(log n)，但在查找最小值时，它的算法复杂度是O(1)，即只要取出堆顶的第一个元素即可，因此比Nginx的红黑树更适合频繁获取最小值的场景，特别是在处理大量连接时，用最小堆性能提升比较明显。

浏览器和爬虫的判断优化

判断浏览器的类型是Web服务器的一个常见需求。Nginx中判断浏览器的方法是对关注的浏览器种类在User-Agent头中做暴力查找（strstr）。strstr本身的算法复杂度是O(n^2)，Nginx查找的是多个串，因此其最终算法复杂度是O(n^3)。随着现在移动端的浏览器增多，原有模块的复杂度成指数增长，性能不高。在Tengine中，我们开发了一个全新的user_agent模块，使用了trie（前缀树）来搜索多个可能的浏览器匹配串。它将所有的匹配字符串构造出一个自动机，每次匹配，它的算法复杂度只需要O(n)。因此复杂度不会随着匹配串数量的增加而增加。

自动绑定CPU亲缘性

原有的Nginx CPU绑定需要手工操作，在Tengine中我们将Worker进程和CPU进行自动绑定，可以减少因CPU的Cache失效带来的性能损失，从而提高性能。另外，这样也减少了运维配置的工作量。Tengine对Nginx机制的增强则包含以下几个方面。

Lua模块

基于降低Nginx模块开发难度的初衷，Lua模块（ngx_lua）将Lua嵌入进Nginx核心中，借助于Lua的协程和Nginx的事件模型实现同步、非阻塞的I/O操作，开发者在Nginx配置文件中可串行同步编写Lua脚本来处理业务逻辑，既可以用它来黏合各种上游（Proxy、Drizzle、Redis、Memcached等）的输出，也可以使用它的Cosocket接口来编写访问上游的客户端。得益于Lua解释器极低的开销和JIT技术（LuaJIT），用户不用编写复杂的C模块就能获得极高的吞吐性能。也可以动态更改逻辑，不用再重新编译Nginx代码，从而带来了极大的灵活性。Lua模块在初始化时为每个Nginx工作进程创建一个Lua/LuaJIT实例（Lua VM），同一进程处理的所有请求将共享该实例，并且Lua模块将用户Lua代码包装为协程工厂缓存在Nginx内，一个请求到来时协程工厂为它分配一个独立协程来运行业务逻辑。在需要进行阻塞的I/O操作时，Lua模块自动将I/O操作委托给Nginx的事件处理模型，并保存正在运行的协程上下文，返回到Nginx工作进程中处理其他请求，等到I/O操作完成时，又会恢复该协程继续运行。

动态模块支持

Tengine中加入了动态模块功能，对模块实现了动态编译，加入模块不再需要静态编译整个Tengine代码。使用方法类似Apache，在使用时可以当场动态编译想加入的模块，非常方便。1. 我们提供类似apxs的编译工具，将模块编译成动态链接库。2. 在Tengine启动时通过动态链接库读入模块的模块结构体，这个结构体包含了模块处理的所有信息。3. Tengine有内置的模块加载顺序表，也可在配置文件中显式的指定模块的加载顺序，保证模块加载顺序正常。4. Tengine内部通过两个版本号（Major和Minor）来控制动态链接库（.so文件）的前后兼容性。当Major版本号相同时，较新版本的Tengine兼容较旧版本的.so文件（Tengine的Minor大于.so文件）。只有当Tengine的API发生重大变化时，Major的版本号才发生变化。增加新的API只会增加Minor版本号。

输入体过滤器支持

Nginx没有对请求主体内容的过滤机制，而且在处理较大请求时，可能会缓存到磁盘的临时文件上，因此对输入体的分析和过滤很不方便。Tengine中增加了对于读取用户请求输入体的回调函数，该函数优先于缓存磁盘执行。在收到请求体时会调用这个回调函数，可以方便地对上传的内容进行过滤。而且所有输入体过滤器以链式流程处理。

开启额外进程的机制

Tengine中可以方便地启动进程，这些进程可以独立于原有Nginx工作进程，用来执行某些特殊逻辑（例如非HTTP的应用场景）。该机制在Tengine中增加了一种全新的模块类型，可以开发多个不同用途的进程模块。

对Syslog和管道日志的支持

Syslog功能对于集中式的日志管理非常有用，因此现有大部分的服务器软件都支持Syslog功能。Tengine可以将错误日志和访问日志发送到本地或远程的Syslog服务器。我们完全实现了底层Syslog的协议（使用UDP），解决了Syslog接口阻塞的问题。Tengine也支持通过管道方式将日志写到另一个程序，如Cronolog。此外，在Tengine中，还可以对日志进行抽样，例如只记录1%的日志，从而降低对磁盘I/O的压力，对繁忙的业务颇有用处。

API的增强

Tengine对Nginx的API进行了扩充，如内存操作、HTTP头处理等，以简化模块开发的难度。目前Tengine比Nginx增加功能模块主要有下面一些。

Concat模块

可以组合多个JavaScript和CSS请求变成一个，从而降低下载时间，提高用户体验。该模块对于提高前端的响应时间非常有用。

Sysguard模块

在系统的Load或者内存（Swap）使用超过一定阈值或比例时返回等待页面，从而保护服务器。User_agent模块利用trie结构，扫描浏览器和爬虫的种类，定义os变量，比Nginx的Browser模块更加灵活且性能更高。

Footer模块

在响应内容后添加一段内容。可用来添加Host信息，对定位大量服务器中出问题的个别机器很有用。

Slice模块

用来访问一个文件中的一个片段，可以指定开始和结束的偏移值也可以增加头和尾。

Backtrace模块

在遇到异常如崩溃时将调用栈输出到日志以便于问题定位。