使用Nginx配置实现请求的限流操作

概述

限流（Rate Limitting）是服务降级的一种方式，通过限制系统的输入和输出流量以达到保护系统的目的。
比如我们的网站暴露在公网环境中，除了用户的正常访问，网络爬虫、恶意攻击或者大促等突发流量都可能都会对系统造成压力，如果这种压力超出了服务器的处理能力，会造成响应过慢甚至系统崩溃的问题。
因此，当并发请求数过大时，我们通过限制一部分请求（比如限制同一IP的频繁请求）来保证服务器可以正确响应另一部分的请求。

在Nginx中提供了两种限流方式

• 限制请求率
• 限制连接数量

服务降级：当发现系统压力过载时，可以通过关闭某个服务，或者是限流某个服务来减轻系统压力，这就是服务降级。
服务熔断：当服务A调用服务B不可用时，服务A为了保证自己不受影响，从而不再调用服务B，直接返回一个结果，减轻服务A和服务B的压力，直到B恢复。
相同点：都是为了防止系统崩溃；都让用户体验到了某些功能暂时不可用。
不同点：服务熔断是因为下游服务故障引发的，而服务降级是为了减轻系统压力。

限制请求率

nginx 的 ngx_http_limit_req_module 模块提供限制请求处理速率的能力，使用了漏桶算法（leaky bucket algorithm）。我们可以想像有一只上面进水、下面匀速出水的桶，如果桶里面有水，那刚进去的水就要存在桶里等下面的水流完之后才会流出，如果进水的速度大于水流出的速度，桶里的水就会满，这时水就不会进到桶里，而是直接从桶的上面溢出。

对应到处理网络请求，水代表从客户端来的请求，而桶代表一个队列，请求在该队列中依据先进先出（FIFO）算法等待被处理。漏的水代表请求离开缓冲区并被服务器处理，溢出代表了请求被丢弃并且永不被服务。

限流操作

nginx 中有两个主要的指令可以用来配置限流：limit_req_zone 和 limit_req。
如下所示：

limit_req_zone $binary_remote_addr zone=test:10m rate=2r/s;

server {
    location / {
        limit_req zone=test;
    }
} 

imit_req_zone 用于设置限流和共享内存区域的参数，格式为：limit_req_zone key zone rate。
参数解释如下：

• key： 定义限流对象，$binary_remote_addr 是 nginx 中的变量，表示基于 remote_addr(客户端IP) 来做限流，binary_ 是二进制存储。使用 $binary_remote_addr 而不是 $remote_addr 是因为二进制存储可以压缩内存占用量。$remote_addr 变量的大小从7到15个字节不等，而 $binary_remote_addr变量的大小对于 IPv4 始终为4个字节，对于 IPv6 地址则为16个字节。
• zone： 定义共享内存区来存储访问信息，访问信息包括每个 IP 地址状态和访问受限请求 URL 的频率等。zone 的定义又分为两个部分：由 zone= 关键字标识的区域名称，以及冒号后面的区域大小。test:10m 表示一个大小为10M，名字为 test 的内存区域。1M 能存储16000个 IP 地址的访问信息，test 大概可以存储约160000个地址。nginx 创建新记录的时候，会移除前60秒内没有被使用的记录，如果释放的空间还是存储不了新的记录，会返回503的状态码。
• rate： 设置最大的访问速率。rate=2r/s（为了好模拟，rate 设置的值比较小），表示每秒最多处理 2个请求。事实上 nginx 是以毫秒为粒度追踪请求的，rate=2r/s 实际上是每500毫秒1个请求，也就是说，上一个请求完成后，如果500毫秒内还有请求到达，这些请求会被拒绝（默认返回503，如果想修改返回值，可以设置limit_req_status）。
  limit_req_zone 只是设置限流参数，如果要生效的话，必须和limit_req配合使用。limit_req 的格式为：limit_req zone=name [burst=number] [nodelay]。

上面的例子只简单指定了 ·zone=test·，表示使用 test 这个区域的配置，在请求 html 文件时进行限流。我们可以理解为这个桶目前没有任何储存水滴的能力，到达的所有不能立即漏出的请求都会被拒绝。如果我1秒内发送了10次请求，其中前500毫秒1次，后500毫秒9次，那么只有前500毫秒的请求和后500毫秒的第一次请求会响应，其余请求都会被拒绝。

以上是一个正常的限流过程，但是还有比如突发高流量的处理方式、白名单设置，此处就不详解，感兴趣的可以自行查阅。

限制连接数

nginx 的 ngx_http_limit_conn_module 模块提供限制连接数的能力，包含两个指令limit_conn_zone 和 limit_conn，格式为limit_conn_zone key zone。

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {
    location ~* \.(html)$ {
        limit_conn perip 10;
        limit_conn perserver 100;
    }
} 

• limit_conn perip 10： key 是$binary_remote_addr，表示限制单个IP同时最多能持有10个连接。
• limit_conn perserver 100： key 是 $server_name，表示虚拟主机(server) 同时能处理并发连接的总数为100。

需要注意的是：只有当 request header 被后端server处理后，这个连接才进行计数。

问题

需要注意，限流可能可能会出现css样式丢失的情况。
比如说我只向浏览器发起了一个请求，实际上是向服务器发起了 N 个请求，这和页面上引用到的 css、js 文件数量有关系，这些静态资源的请求也会纳入一个新请求。

如果 Nginx 限流设置的是每秒 5 个请求：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=5r/s;

而页面上的 css、js 文件数量却达到了 8 个，如果在一秒之内加载完整个页面及附带的 8 个资源，那其他 4 个资源势必会被限流规则挡住，如果是 2 秒加载完就没问题（每秒 4、5 个）。

解决方式一：调整限流规则

将限流规则调大即可，比如rate=10r/s

解决方式二：静态规则不设置限流

原有先流规则不变，新增静态文件规则

location ~* \.(js|css|png|jpg|jpeg|gif|ico)$ {
 proxy_pass http://javastack.cn;
}