【Nginx】高性能Web服务器

一、WEB服务简介

目前最主流的三个Web服务器是Apache、Nginx（轻量级web服务器 Linux）、 IIS(windows-server)。

我们今天主要讲Apache，Nginx.

• Web服务器一般指网站服务器，是指驻留于因特网上某种类型计算机的程序，可以向浏览器等Web客户端提供文档，也可以放置网站文件，让全世界浏览；可以放置数据文件，让全世界下载。

• WEB服务器也称为WWW(WORLD WIDE WEB)服务器，主要功能是提供网上信息浏览服务。

• Web服务器是可以向发出请求的浏览器提供文档的程序：服务器是一种被动程序只有当Internet上运行其他计算机中的浏览器发出的请求时，服务器才会响应.

1.1，Apache prefork 模型

Apache的prefork模型是一种常见的进程管理模型，它主要用于Apache HTTP服务器。在这个模型中，Apache主进程不会直接处理客户端请求，而是创建一系列被称为工作进程（Worker Processes）的子进程。每个工作进程独立地处理来自客户端的请求，这样可以并发地处理多个请求，提高服务器性能。

进程I/O模型，每个进程响应一个请求，CentOS 7 httpd默认模型一个主进程：生成和回收n个子进程，创建套接字，不响应请求多个子进程：工作 work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求

当有新的连接到来时，主进程会从空闲的工作进程中分配一个新的进程去处理这个请求，而不是立即接管。

优点：

1. 稳定性：如果某个工作进程崩溃，其他进程继续运行，不影响整体服务。

2. 高效利用资源：通过并行处理请求，充分利用CPU核心。

3. 易于扩展：只需增加工作进程的数量即可提升服务器的吞吐量。

然而，prefork模型也存在一些限制，比如对内存消耗敏感，因为每个工作进程都有其自身的上下文，且在配置上需要考虑合适的进程数以平衡负载。

缺点：慢，占用资源，不适用于高并发场景

1.2，Apache worker模型

复用的多进程I/O模型,多进程多线程（IIS使用此模型）

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

worker MPM是一种多进程和多线程混合的模型，有一个控制进程，启动多个子进程，每个子进程里面包含固定的线程，使用线程程来处理请求，当线程不够使用的时候会再启动一个新的子进程，然后在进程里面再启动线程处理请求，由于其使用了线程处理请求，因此可以承受更高的并发。

优点：相比prefork 占用的内存较少，可以同时处理更多的请求

缺点：使用keep-alive的长连接方式，某个线程会一直被占据，即使没有传输数据，也需要一直等待到超时才会被释放。如果过多的线程，被这样占据，也会导致在高并发场景下的无服务线程可用。（该问题在prefork模式下，同样会发生）

1.3，Apache event模型

事件驱动模型（worker模型的变种），CentOS8 默认模型

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n，有专门的监控线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力

event MPM是Apache中最新的模式，2012年发布的apache 2.4.X系列正式支持event 模型. 属于事件驱动模型(epoll)，每个进程响应多个请求，在现在版本里的已经是稳定可用的模式。它和worker模式很像，最大的区别在于，它解决了keep-alive场景下，长期被占用的线程的资源浪费问题（某些线程因为被keep-alive，空挂在哪里等待，中间几乎没有请求过来，甚至等到超时）。event MPM中，会有一个专门的线程来管理这些keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放。这样增强了高并发场景下的请求处理能力event只在有数据发送的时候才开始建立连接，连接请求才会触发工作线程，即使用了TCP的一个选项，叫做延迟接受连接TCP_DEFER_ACCEPT，加了这个选项后，若客户端只进行TCP连接，不发送请求，则不会触发Accept操作，也就不会触发工作线程去干活，进行了简单的防攻击（TCP连接）

优点：单线程响应多请求，占据更少的内存，高并发下表现更优秀，会有一个专门的线程来管理keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放

缺点：没有线程安全控制

二，Nginx高性能web服务端

1.1，nginx工作场景

1.2，服务端 I/O 流程

1.3，网络I/O模型

网络通信就是网络协议栈到用户空间进程的I/O就是网络I/O

网络I/O 处理过程

获取请求数据，客户端与服务器建立连接发出请求，服务器接受请求（1-3）
构建响应，当服务器接收完请求，并在用户空间处理客户端的请求，直到构建响应完成（4）
返回数据，服务器将已构建好的响应再通过内核空间的网络 I/O 发还给客户端（5-7）

不论磁盘和网络I/O

每次I/O，都要经由两个阶段：
第一步：将数据从文件先加载至内核内存空间（缓冲区），等待数据准备完成，时间较长
第二步：将数据从内核缓冲区复制到用户空间的进程的内存中，时间较短

I/O模型相关概念

同步/异步：关注的是消息通信机制，即调用者在等待一件事情的处理结果时，被调用者是否提供完成状态的通知

• 同步：synchronous，被调用者并不提供事件的处理结果相关的通知消息，需要调用者主动询问事情是否处理完成
• 异步：asynchronous，被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态

阻塞/非阻塞：关注调用者在等待结果返回之前所处的状态

• 阻塞：blocking，指IO操作需要彻底完成后才返回到用户空间，调用结果返回之前，调用者被挂起，干不了别的事情。
• 非阻塞：nonblocking，指IO操作被调用后立即返回给用户一个状态值，而无需等到IO操作彻底完成，在最终的调用结果返回之前，调用者不会被挂起，可以去做别的事情。

1.4，I/O模型分类

阻塞型、非阻塞型、复用型、信号驱动型、异步

<1>阻塞形IO模型（blocking IO）

阻塞IO模型是最简单的I/O模型，用户线程在内核进行IO操作时被阻塞
用户线程通过系统调用read发起I/O读操作，由用户空间转到内核空间。内核等到数据包到达后，然后将接收的数据拷贝到用户空间，完成read操作
用户需要等待read将数据读取到buffer后，才继续处理接收的数据。整个I/O请求的过程中，用户线程是被阻塞的，这导致用户在发起IO请求时，不能做任何事情，对CPU的资源利用率不够；
优点：程序简单，在阻塞等待数据期间进程/线程挂起，基本不会占用 CPU 资源
缺点：每个连接需要独立的进程/线程单独处理，当并发请求量大时为了维护程序，内存、线程切换开销
较大，apache 的preforck使用的是这种模式。

同步阻塞：程序向内核发送I/O请求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回,则进程将一直等待并不再接受新的请求，并由进程轮训查看I/O是否完成，完成后进程将I/O结果返回给Client，在IO没有返回期间进程不能接受其他客户的请求，而且是有进程自己去查看I/O是否完成，这种方式简单，但是比较慢，用的比较少。

<2>非阻塞型I/O模型(nonblocking IO)

用户线程发起IO请求时立即返回。但并未读取到任何数据，用户线程需要不断地发起IO请求，直到数据到达后，才真正读取到数据，继续执行。即 “轮询”机制存在两个问题：如果有大量文件描述符都要等，那么就得一个一个的read。这会带来大量的Context Switch（read是系统调用，每调用一次就得在用户态和核心态切换一次）。轮询的时间不好把握。这里是要猜多久之后数据才能到。等待时间设的太长，程序响应延迟就过大;设的太短，就会造成过于频繁的重试，干耗CPU而已，是比较浪费CPU的方式，一般很少直接使用这种模型，而是在其他IO模型中使用非阻塞IO这一特性。
查看上图可知，在设置连接为非阻塞时，当应用进程系统调用recvfrom 没有数据返回时，内核会立即返回一个EWOULDBLOCK 错误，而不会一直阻塞到数据准备好。如上图在第四次调用时有一个数据报准备好了，所以这时数据会被复制到应用进程缓冲区，于是recvfrom 成功返回数据当一个应用进程这样循环调用recvfrom 时，称之为轮询polling 。这么做往往会耗费大量CPU时间，实际使用很少。

非阻塞：程序向内核发送请I/O求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回IO结果，进程将不再等待，而且继续处理其他请求，但是仍然需要进程隔一段时间就要查看内核I/O是否完成。

<3>多路复用I/O型（I/O multiplexing）

I/O multiplexing 主要包括:select，poll，epoll三种系统调用，select/poll/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。

它的基本原理就是select/poll/epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。

Apache prefork是此模式的select，work是poll模式。

IO多路复用（IO Multiplexing) ：是一种机制，程序注册一组socket文件描述符给操作系统，表示“我要监视这些fd是否有IO事件发生，有了就告诉程序处理”

IO多路复用一般和NIO一起使用的。NIO和IO多路复用是相对独立的。NIO仅仅是指IO API总是能立刻返回，不会被Blocking;而IO多路复用仅仅是
操作系统提供的一种便利的通知机制。操作系统并不会强制这俩必须得一起用，可以只用IO多路复用 + BIO，这时还是当前线程被卡住。IO多路复用和NIO是要配合一起使用才有实际意义

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，就通知该进程多个连接共用一个等待机制，本模型会阻塞进程，但是进程是阻塞在select或者poll这两个系统调用上，而不是阻塞在真正的IO操作上

用户首先将需要进行IO操作添加到select中，同时等待select系统调用返回。当数据到达时，IO被激活，select函数返回。用户线程正式发起read请求，读取数据并继续执行

从流程上来看，使用select函数进行IO请求和同步阻塞模型没有太大的区别，甚至还多了添加监视IO，以及调用select函数的额外操作，效率更差。并且阻塞了两次，但是第一次阻塞在select上时，select可以监控多个IO上是否已有IO操作准备就绪，即可达到在同一个线程内同时处理多个IO请求的目的。而不像阻塞IO那种，一次只能监控一个IO

虽然上述方式允许单线程内处理多个IO请求，但是每个IO请求的过程还是阻塞的（在select函数上阻塞），平均时间甚至比同步阻塞IO模型还要长。如果用户线程只是注册自己需要的IO请求，然后去做自己的事情，等到数据到来时再进行处理，则可以提高CPU的利用率

IO多路复用是最常使用的IO模型，但是其异步程度还不够“彻底”，因它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步阻塞IO模型，而非真正的异步IO

• 优点：可以基于一个阻塞对象，同时在多个描述符上等待就绪，而不是使用多个线程(每个文件描述符一个线程)，这样可以大大节省系统资源
• 缺点：当连接数较少时效率相比多线程+阻塞 I/O 模型效率较低，可能延迟更大，因为单个连接处理需要 2 次系统调用，占用时间会有增加
• 适用场景
  • 当客户端处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用
  • 当一个客户端同时处理多个套接字时，此情况可能的但很少出现
  • 当一个服务器既要处理监听套接字，又要处理已连接套接字，一般也要用到I/O复用
  • 当一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用
  • 当一个服务器要处理多个服务或多个协议，一般要使用I/O复用

<4>信号驱动式I/O模型（signal-driven IO）

信号驱动I/O的意思就是进程现在不用傻等着，也不用去轮询。而是让内核在数据就绪时，发送信号通知进程。

调用的步骤是，通过系统调用sigaction ，并注册一个信号处理的回调函数，该调用会立即返回，然后主程序可以继续向下执行，当有I/O操作准备就绪,即内核数据就绪时，内核会为该进程产生一个SIGIO信号，并回调注册的信号回调函数，这样就可以在信号回调函数中系统调用recvfrom 获取数据,将用户进程所需要的数据从内核空间拷贝到用户空间

此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行，只要等待来自信号处理函数的通知。

在信号驱动式 I/O 模型中，应用程序使用套接口进行信号驱动 I/O，并安装一个信号处理函数，进程继续运行并不阻塞
当数据准备好时，进程会收到一个 SIGIO 信号，可以在信号处理函数中调用 I/O 操作函数处理数据。

异步阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核收到进程请求后进行的IO如果不能立即返回，就由内核等待结果，直到IO完成后内核再通知进程。

• 优点：线程并没有在等待数据时被阻塞，内核直接返回调用接收信号，不影响进程继续处理其他请求因此可以提高资源的利用率
• 缺点：信号 I/O 在大量 IO 操作时可能会因为信号队列溢出导致没法通知

<5>异步I/O模型（asynchronous IO）

异步I/O 与 信号驱动I/O最大区别在于，信号驱动是内核通知用户进程何时开始一个I/O操作，而异步I/O是由内核通知用户进程I/O操作何时完成，两者有本质区别,相当于不用去饭店场吃饭，直接点个外卖，把等待上菜的时间也给省了

相对于同步I/O，异步I/O不是顺序执行。用户进程进行aio_read系统调用之后，无论内核数据是否准备好，都会直接返回给用户进程，然后用户态进程可以去做别的事情。等到socket数据准备好了，内核直接复制数据给进程，然后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。

信号驱动IO当内核通知触发信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到用户空间缓冲区这个阶段，而异步IO直接是在第二个阶段完成后，内核直接通知用户线程可以进行后续操作了

Linux提供了AIO库函数实现异步，但是用的很少。目前有很多开源的异步IO库，例如libevent、libev、libuv。

异步非阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核调用的IO如果不能立即返回，内核会继续处理其他事物，直到IO完成后将结果通知给内核，内核在将IO完成的结果返回给进程，期间进程可以接受新的请求，内核也可以处理新的事物，因此相互不影响，可以实现较大的同时并实现较高的IO复用，因此异步非阻塞使用最多的一种通信方式。

• 优点：异步 I/O 能够充分利用 DMA 特性，让 I/O 操作与计算重叠
• 缺点：要实现真正的异步 I/O，操作系统需要做大量的工作。目前 Windows 下通过 IOCP 实现了真正的异步 I/O，在 Linux 系统下，Linux 2.6才引入，目前 AIO 并不完善，因此在 Linux 下实现高并发网络编程时以 IO 复用模型模式+多线程任务的架构基本可以满足需求

<6>I/O模型对比

这五种 I/O 模型中，越往后，阻塞越少，理论上效率也是最优前四种属于同步 I/O，因为其中真正的 I/O操作(recvfrom)将阻塞进程/线程，只有异步 I/O 模型才与 POSIX 定义的异步 I/O 相匹配

<7>在nginx中I/O的具体实现方式（多路复用）

1、select：
select库是在linux和windows平台都基本支持的 事件驱动模型库，并且在接口的定义也基本相同，只是部分参数的含义略有差异，最大并发限制1024，是最早期的事件驱动模型。
2、poll：
在Linux 的基本驱动模型，windows不支持此驱动模型，是select的升级版，取消了最大的并发限制，在编译nginx的时候可以使用--with-poll_module和--without-poll_module这两个指定是否编译select库。
3、epoll：
epoll是库是Nginx服务器支持的最高性能的事件驱动库之一，是公认的非常优秀的事件驱动模型，它和select和poll有很大的区别，epoll是poll的升级版，但是与poll有很大的区别.epoll的处理方式是创建一个待处理的事件列表，然后把这个列表发给内核，返回的时候在去轮训检查这个表，以判断事件是否发生，epoll支持一个进程打开的最大事件描述符的上限是系统可以打开的文件的最大数，同时epoll库的I/O效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作。

<8>零拷页相关技术

在Nginx中，使用零拷贝技术可以将数据从文件系统直接发送到网络套接字中，而不需要中间的内存拷贝。

这可以减少CPU的使用量，减少内存带宽的消耗，并且可以更快地将数据发送到客户端。

MMAP ( Memory Mapping )

SENDFILE

DMA辅助的SENDFLIE（使用较少）

三、Nginx架构和安装

1，简介

<1>作用：支持七层(应用层)和四层(传输层)反向代理、可做web服务器。

<2>特性：高可靠性、支持热部署、可扩展性好、高并发高性能、单机部署。

<3>进程：一个主进程master生成多个worker子进程，worker子进程负责处理工作。

2，进程架构

  Nginx在架构中的作用
  1) 网关 — 面向客户的总入口
  2) 虚拟主机 — 为不同域名（IP）、端口提供服务
  3) 路由 — 使用反向代理，整合后续服务为一个完整业务
  4) 静态服务器 — 发布前端html/css/js/image等
  5) 负载均衡服务器 — 使用upstream，负载多个tomcat

正向代理和反向代理
  正向代理：客户端发送一个请求，并指定目标，然后代理服务器向目标服务器转交请求并将获得的内容返回给客户端。
  用途：
  1) 访问无法访问到的资源，如google。
  2) 做缓存，加速资源访问。
  3 )客户端访问授权、认证。
  4) 记录用户访问行为

  反向代理：代理服务器接收客户端请求，将请求转发给内部网络上的服务器，并将得到的结果返回给客户端。
  用途：
  1) 保证内网安全，阻止web攻击。
  2) 负载均衡

  正向代理，服务端不知道实际发起请求的客户端。
  反向代理，客户端不知道实际提供的服务端。

3，进程之间的通信

4、nginx模块化设计

                                                严格遵守“高内聚、低耦合”的原则

                

  核心模块
  是nginx服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能。

  标准HTTP模块
  提供HTTP协议解析相关的功能，如：端口配置、网页编码配置、HTTP响应头信息等。

  可选HTTP模块
   主要用于扩展标准HTTP的功能，让nginx能处理一些特殊的服务，如：flash多媒体传输、解析GeoIP请求、SSL支持等。

  邮件服务模块
  主要用于支持nginx的邮件服务，包括POP3协议、IMAP协议和SMTP协议。

  第三方模块
  为了扩展nginx服务器应用，完成开发者自定义的功能，如json支持、lua脚本的支持。

5、nginx的编译安装

下载地址：

先安装依赖包

[root@nginx ~]#  dnf install gcc pcre-devel zlib-devel openssl-devel -y

创建一个名为nginx的用户，并将其shell设置为/sbin/nologin，同时不创建主目录

[root@nginx ~]# useradd  -s /sbin/nologin -M nginx

解压
[root@nginx ~]# tar zxf nginx-1.24.0.tar.gz
[root@nginx ~]# cd nginx-1.24.0/
[root@nginx nginx-1.24.0]# ls
auto     CHANGES.ru  configure  html     man     src
CHANGES  conf        contrib    LICENSE  README


[root@nginx nginx-1.24.0]# ./configure --prefix=/usr/local/nginx \
>  --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
>  --with-http_v2_module \
> --with-http_realip_module \
>  --with-http_stub_status_module \
>  --with-http_gzip_static_module \
> --with-pcre \
> --with-stream \
> --with-stream_ssl_module \
> --with-stream_realip_module 

[root@nginx nginx-1.24.0]# make && make install

[root@nginx nginx-1.24.0]# vim ~/.bash_profile

export PATH=$PATH:/usr/local/nginx/sbin

[root@nginx nginx-1.24.0]# source ~/.bash_profile
[root@nginx nginx-1.24.0]# nginx -V
nginx version: nginx/1.24.0
built by gcc 11.3.1 20220421 (Red Hat 11.3.1-2) (GCC)
built with OpenSSL 3.0.1 14 Dec 2021
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --user=nginx --group=nginx --with-ht  tp_ssl_module --with-http_v2_module --with-http_realip_module --with-http_stub_stat  us_module --with-http_gzip_static_module --with-pcre --with-stream --with-stream_ss  l_module --with-stream_realip_module