深入理解Nginx模块开发与架构解析第1章研究Nginx前的准备工作

最新推荐文章于 2021-06-11 20:38:17 发布

技术闲聊DD

最新推荐文章于 2021-06-11 20:38:17 发布

阅读量403

点赞数

分类专栏：服务器文章标签： nginx

本文链接：https://blog.csdn.net/wu2374633583/article/details/79078091

版权

服务器专栏收录该内容

27 篇文章 1 订阅

订阅专栏

本章目录

这里写图片描述

1.1 Nginx是什么

首先说一下它的竞争对手，Apache、Lighttpd、Tomcat、Jetty、IIS，它们都是Web服务器，或者叫做WWW（World Wide Web）服务器，相应地也都具备Web服务器的基本功能：基于REST架构风格，以统一资源描述符（Uniform ResourceIdentifier，URI）或者统一资源定位符（Uniform Resource Locator，URL）作为沟通依据，通过HTTP为浏览器等客户端程序提供各种网络服务。
优点：轻量级，高并发，还可以使用当前操作系统特有的一些高效API来提高自己的性能，比如它支持Linux上的epoll（epoll是Linux上处理大并
发网络连接的利器），还支持linux独有的sendfile系统调用，这个系统调用可以高效地把硬盘中的数据发送到网络上（不需要先把硬盘数据复制到用户态内存上再发送），这极大地减少了内核态与用户态数据间的复制动作。

1.2 为什么选择Nginx

（1）更快
这表现在两个方面：一方面，在正常情况下，单次请求会得到更快的响应；另一方面，在高峰期（如有数以万计的并发请求），Nginx可以比其他Web服务器更快地响应请求。

（2）高扩展性
Nginx的设计极具扩展性，它完全是由多个不同功能、不同层次、不同类型且耦合度极低的模块组成。

（3）高可靠性
Nginx的高可靠性来自于其核心框架代码
的优秀设计、模块设计的简单性；另外，官方提供的常用模块都非常稳定，每个worker进程相对独立，master进程在1个worker进程出错时可以快速“拉起”新的worker子进程提供服务。

（4）低内存消耗
一般情况下，10000个非活跃的HTTP Keep-Alive连接在Nginx中仅消耗2.5MB的内存，这是Nginx支持高并发连接的基础。

（5）单机支持10万以上的并发连接

（6）热部署
master管理进程与worker工作进程的分离设计，使得Nginx能够提供热部署功能，即可以在7×24小时不间断服务的前提下，升级Nginx的可执行文件。当然，它也支持不停止服务就更新配置项、更换日志文件等功能。

（7）最自由的BSD许可协议
BSD许可协议不只是允许用户免费使用Nginx，它还允许用户在自己的项目中直接使用或修改Nginx源码，然后发布。

选择Nginx的核心理由还是它能在支持高并发请求的同时保持高效的服务。
Nginx先天的事件驱动型设计、全异步的网络I/O处理机制、极少的进程间切换以及许多优化设计，都使得Nginx天生善于处理高并发压力下的互联网请求，同时Nginx降低了资源消耗，可以把服务器硬件资源“榨”到极致。

1.3 准备工作

1.3.1　Linux操作系统

首先我们需要一个内核为Linux 2.6及以上版本的操作系统，因为Linux 2.6及以上内核才支持epoll，而在Linux上使用select或poll来解决事件的多路复用，是无法解决高并发压力问题的。

//查询Linux内核版本
>uname -a

1.3.2　使用Nginx的必备软件

（1）GCC编译器
GCC（GNU Compiler Collection）可用来编译C语言程序。Nginx不会直接提供二进制可执行程序。

//安装命令
>yum install -y gcc

同时相应的安装G++

//安装命令
>yum install -y gcc-c++

（2）PCRE库
PCRE（Perl兼容正则表达式）是一个函数库，目前为很多软件所使用，该库支持正则表达式。如果我们在配置文件nginx.conf里使用了正则表达式，那么在编译Nginx时就必须把PCRE库编译进Nginx，因为Nginx的HTTP模块要靠它来解析正则表达式。

yum install -y pcre pcre-devel

pcre-devel是使用PCRE做二次开发时所需要的开发库，包括头文件等，这也是编译Nginx所必须使用的。

（3）zlib库
zlib库用于对HTTP包的内容做gzip格式的压缩，如果我们在nginx.conf里配置了gzip on，并指定对于某些类型（content-type）的HTTP响应使用gzip来进行压缩以减少网络传输量，那么，在编译时就必须把zlib编译进Nginx。

yum install -y zlib zlib-devel

（4）OpenSSL开发库
如果我们的服务器不只是要支持HTTP，还需要在更安全的SSL协议上传输HTTP，那么就需要拥有OpenSSL了。另外，如果我们想使用MD5，SHA1等散列函数，那么也需要安装它。

yum install -y openssl openssl-devel

1.3.3　磁盘目录

要使用Nginx，还需要在Linux文件系统上准备以下目录：
（1）Nginx源代码存放目录
该目录用于放置从官网上下载的Nginx源码文件，以及第三方或我们自己所写的模块源代码文件。

（2）Nginx编译阶段产生的中间文件存放目录
该目录用于放置在configure命令执行后所生成的源文件及目录，以及make命令执行后生成的目标文件和最终连接成功的二进制文件。默认情况下，configure命令会将该目录命名为objs，并放在Nginx源代码目录下。

（3）部署目录
该目录存放实际Nginx服务运行期间所需要的二进制文件、配置文件等。默认情况下，该目录为/usr/local/nginx。

（4）日志文件存放目录
日志文件通常会比较大，当研究Nginx的底层架构时，需要打开debug级别的日志，这个级别的日志非常详细，会导致日志文件的大小增长得极快，需要预先分配一个拥有更大磁盘空间的目录。

1.3.4　Linux内核参数的优化

默认的Linux内核参数考虑的是最通用的场景，这明显不符合用于支持高并发访问的Web服务器的定义，所以需要修改Linux内核参数，使得Nginx可以拥有更高的性能。

这里针对最通用的、使Nginx支持更多并发请求的TCP网络参数做简单说明。
需要修改/etc/sysctl.conf来更改内核参数，常用配置如下：

fs.file-max = 999999
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.ip_local_port_range = 1024 61000
net.ipv4.tcp_rmem = 4096 32768 262142
net.ipv4.tcp_wmem = 4096 32768 262142
net.core.netdev_max_backlog = 8096
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn.backlog=1024

然后执行sysctl-p命令，使上述修改生效。

参数解释：
file-max：
这个参数表示进程（比如一个worker进程）可以同时打开的最大句柄数，这个参数直接限制最大并发连接数，需根据实际情况配置。
tcp_tw_reuse：
这个参数设置为1，表示允许将TIME-WAIT状态的socket重新用于新的TCP连接，这对于服务器来说很有意义，因为服务器上总会有大量TIME-WAIT状态的连接。
tcp_keepalive_time：
这个参数表示当keepalive启用时，TCP发送keepalive消息的频度。默认是2小时，若将其设置得小一些，可以更快地清理无效的连接，单位是ms。
tcp_fin_timeout：
这个参数表示当服务器主动关闭连接时，socket保持在FIN-WAIT-2状态的最大时间。
tcp_max_tw_buckets：
这个参数表示操作系统允许TIME_WAIT套接字数量的最大值，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。该参数默认为180000，过多的TIME_WAIT套接字会使Web服务器变慢。
tcp_max_syn_backlog：
这个参数表示TCP三次握手建立阶段接收SYN请求队列的最大长度，默认为1024，将其设置得大一些可以使出现Nginx繁忙来不及accept新连接的情况时，Linux不至于丢失客户端发起的连接请求。
ip_local_port_range：
这个参数定义了在UDP和TCP连接中本地（不包括连接的远端）端口的取值范围。
net.ipv4.tcp_rmem：
这个参数定义了TCP接收缓存（用于TCP接收滑动窗口）的最小值、默认值、最大值。
net.ipv4.tcp_wmem：
这个参数定义了TCP发送缓存（用于TCP发送滑动窗口）的最小值、默认值、最大值。
netdev_max_backlog：
当网卡接收数据包的速度大于内核处理的速度时，会有一个队列保存这些数据包。这个参数表示该队列的最大值。
rmem_default：
这个参数表示内核套接字接收缓存区默认的大小。
wmem_default：
这个参数表示内核套接字发送缓存区默认的大小。
rmem_max：
这个参数表示内核套接字接收缓存区的最大大小。
wmem_max：
这个参数表示内核套接字发送缓存区的最大大小。
tcp_syncookies：
该参数与性能无关，用于解决TCP的SYN攻击。

注意：
滑动窗口的大小与套接字缓存区会在一定程度上影响并发连接的数目。每个TCP连接都会为维护TCP滑动窗口而消耗内存，这个窗口会根据服务器的处理速度收缩或扩张。

参数wmem_max的设置，需要平衡物理内存的总大小、Nginx并发处理的最大连接数量（由nginx.conf中的worker_processes和worker_connections参数决定）而确定。

当然，如果仅仅为了提高并发量使服务器不出现Out Of Memory问题而去降低滑动窗口大小，那么并不合适，因为滑动窗口过小会影响大数据量的传输速度。rmem_default、wmem_default、rmem_max、wmem_max这4个参数的设置需要根据我们的业务特性以及实际的硬件成本来综合考虑。

1.3.5　获取Nginx源码

在官网下载，然后将其放置到准备好的Nginx源代码目录中，然后解压。例如：
nginx-1.0.14.tar.gz

tar -zxvf nginx-1.0.14.tar.gz

1.4 编译安装Nginx

安装Nginx最简单的方式是，进入nginx-1.0.14目录后执行以下3行命令：

./configure
make
make install

configure命令做了大量的“幕后”工作，包括检测操作系统内核和已经安装的软件，参数的解析，中间目录的生成以及根据各种参数生成一些C源码文件、Makefile文件等。
make命令根据configure命令生成的Makefile文件编译Nginx工程，并生成目标文件、最终的二进制文件。
make install命令根据configure执行时的参数将Nginx部署到指定的安装目录，包括相关目录的建立和二进制文件、配置文件的复制。

1.5 configure详解

1.5.1　configure的命令参数

使用help命令可以查看configure包含的参数：

./configure --help

它的参数可以分为：

1.路径相关的参数

下图是Nginx在编译期、运行期中与路径相关的各种参数：
这里写图片描述

2.编译相关的参数

下图列出了编译Nginx时与编译器相关的参数：
这里写图片描述

3.依赖软件的相关参数

Nginx依赖的常用软件支持的参数：

PCRE的设置参数：

OpenSSL的设置参数：
这里写图片描述

原子库的设置参数：
这里写图片描述

散列函数库的设置参数：
这里写图片描述

zlib库的设置参数：
这里写图片描述

4.模块相关的参数

除了少量核心代码外，Nginx完全是由各种功能模块组成的。这些模块会根据配置参数决定自己的行为，因此，正确地使用各个模块非常关键。在configure的参数中，我们把它们分为五大类：

事件模块。
默认即编译进入Nginx的HTTP模块。
默认不会编译进入Nginx的HTTP模块。
邮件代理服务器相关的mail模块。
其他模块。

（1）事件模块
下图列出了Nginx可以选择哪些事件模块编译到产品中。
configure支持的事件模块参数

这里写图片描述

（2）默认即编译进入Nginx的HTTP模块
下图列出了默认就会编译进Nginx的核心HTTP模块，以及如何把这些HTTP模块从产品中去除。
configure中默认编译到Nginx中的HTTP模块参数

这里写图片描述

（3）默认不会编译进入Nginx的HTTP模块
下图列出了默认不会编译至Nginx中的HTTP模块以及把它们加入产品中的方法。
configure中默认不会编译到Nginx中的HTTP模块参数

这里写图片描述

（4）邮件代理服务器相关的mail模块
下图列出了把邮件模块编译到产品中的参数。
configure提供的邮件模块参数

这里写图片描述

5.其他参数

configure还接收一些其他参数，如下：

这里写图片描述

1.5.2　configure执行流程

1.5.3　configure生成的文件

当configure执行成功时会生成objs目录，并在该目录下产生以下目录和文件：

|---ngx_auto_headers.h
|---autoconf.err
|---ngx_auto_config.h
|---ngx_modules.c
|---src
| |---core
| |---event
| | |---modules
| |---os
| | |---unix
| | |---win32
| |---http
| | |---modules
| | | |---perl
| |---mail
| |---misc
|---Makefile

1）src目录用于存放编译时产生的目标文件。
2）Makefile文件用于编译Nginx工程以及在加入install参数后安装Nginx。
3）autoconf.err保存configure执行过程中产生的结果。
4）ngx_auto_headers.h和ngx_auto_config.h保存了一些宏，这两个头文件会被src/core/ngx_config.h及src/os/unix/ngx_linux
5）ngx_modules.c是一个关键文件，我们需要看看它的内部结构。

1.6 Nginx的命令行控制

在Linux中，需要使用命令行来控制Nginx服务器的启动与停止、重载配置文件、回滚日志文件、平滑升级等行为。默认情况下，Nginx被安装在目录usrlocal/nginx/中，其二进制文件路径为usrlocal/nginc/sbin/nginx，配置文件路径为usrlocal/nginx/conf/nginx.conf。当然，在configure执行时是可以指定把它们安装在不同目录的。
（1）默认方式启动
直接执行Nginx二进制程序。例如：

usr/local/nginx/sbin/nginx

这时，会读取默认路径下的配置文件：usr/local/nginx/conf/nginx.conf。
实际上，在没有显式指定nginx.conf配置文件路径时，将打开在configure命令执行时使用–conf-path=PATH指定的nginx.conf文件。
（2）另行指定配置文件的启动方式
使用-c参数指定配置文件。例如：

usr/local/nginx/sbin/nginx -c tmp nginx.conf

这时，会读取-c参数后指定的nginx.conf配置文件来启动Nginx。
（3）另行指定安装目录的启动方式
使用-p参数指定Nginx的安装目录。例如：

usr/local/nginx/sbin/nginx -p usr/local/nginx/

技术闲聊DD

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
深入理解Nginx模块开发与架构解析第1章研究Nginx前的准备工作

本章目录1.1 Nginx是什么首先说一下它的竞争对手，Apache、Lighttpd、Tomcat、Jetty、IIS，它们都是Web服务器，或者叫做WWW（World Wide Web）服务器，相应地也都具备Web服务器的基本功能：基于REST架构风格，以统一资源描述符（Uniform ResourceIdentifier，URI）或者统一资源定位符（Uniform Resource Locat
复制链接

扫一扫