nginx根据uri与args限流实战笔记

nginx限流实战笔记

序

作者的小水管服务器被爬虫骚扰了，CPU过高(阿里云ECS)，一直发报警
服务器上部署的是php7.2的前后不分离web服务，注：作者不会php，也不知道代码是什么框架，浪费了好长时间

伪静态

if (!-f $request_filename){
	set $rule_0 1$rule_0;
}
if (!-d $request_filename){
	set $rule_0 2$rule_0;
}
if ($rule_0 = "21"){
	rewrite ^/(.*)$ /index.php?/$1 last;
}

直接上结论

基本概念请看：nginx限流基础

http
{
	limit_req_zone $binary_remote_addr zone=de_spider:10m rate=12r/m;
}
server
{
	location = /index.php
    {
        error_page 418 = @de_spider_limit;
        recursive_error_pages on;
        if ($args ~ /(api_1|api_2))
        {
            return 418;
        }
        try_files $uri =404;
   		fastcgi_pass  unix:/tmp/php-cgi-72.sock;
   		fastcgi_index index.php;
   		include fastcgi.conf;
   		include pathinfo.conf;
    }
    
    location @de_spider_limit
    {
        try_files $uri =404;
   		fastcgi_pass  unix:/tmp/php-cgi-72.sock;
   		fastcgi_index index.php;
   		include fastcgi.conf;
   		include pathinfo.conf;
        limit_req zone=test burst=20 nodelay;
    }
}

分析问题，并提出目标

1.排查

1.查看记录发现爬虫使用了动态UA
2.只针对两个特定url爬取

2.目标

1.不影响服务正常运行(废话)
2.只对被爬取的两个特定url进行限流

实践走起

部署测试环境

用docker启动了centos，并用宝塔安装了与实际服务一致的环境

尝试直接限制url

具体日志如下
223.xxx.xxx.224 - - [25/Nov/2020:15:14:45 +0800] "GET /api_1?0.8605529274139898 HTTP/1.1" 200 197 "http://xxxx.com/apphome/index" "Mozilla/5.0 (Linux; Android 9; PBBT00 Build/PPR1.180610.011; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/70.0.3538.110 Mobile Safari/537.36 Html5Plus/1.0 (Immersed/28.148148)"
第一反应，简单的一批，直接对 /api_1 这个uri限流即可

http
{
	limit_req_zone $binary_remote_addr zone=de_spider:10m rate=12r/m;
}
server
{
	location = /api_1
    {
        limit_req zone=test burst=20 nodelay;
    }
}

输入，保存，重启nginx三连
浏览器访问，服务一切正常
随手写了个python测试工具

import requests
import time


class GetTest(object):
    def __init__(self):
        self.session = requests.session()

    def get(self, url):
        res = self.session.get("http://xxxx.com" + url)
        if res.status_code == 200:
            print('成功')
        else:
            print('失败', res.status_code)


if __name__ == '__main__':
    test = GetTest()
    for i in range(100):
        print(i)
        test.get("/api_1")
        time.sleep(0.5)

信心满满的点击运行，瞬间就被打脸了，全部请求都返回了200。T T

找到请求的uri，直接限流

这时才想起来去看一下伪静态，发现一个大坑。

通过rewrite ^/(.*)$ /index.php?/$1 last;
把/api_1请求转成了/index.php?/api_1的形式
好吧，那把过滤规则改一下

server
{
	location = /index.php
    {
    	if ($args ~ /(api_1|api_2))
        {
            limit_req zone=test burst=20 nodelay;
        }
    }
}

输入，保存，重启nginx三连。
清脆的papapa响起（打脸声，想歪的去面壁）。
保存后nginx配置检测出错，因为nginx配置中if的实现原理不支持内部嵌套limit_req。

尝试按args限流

一顿搜索之后，找到了大神的解决办法
再次修改代码

server
{
	location = /index.php
    {
        error_page 418 = @de_spider_limit;
        recursive_error_pages on;
        if ($args ~ /(api_1|api_2))
        {
            return 418;
        }
    }
    
    location @de_spider_limit
    {
        limit_req zone=test burst=20 nodelay;
    }
}

输入，保存，重启nginx三连。没有报错，6666。
运行测试工具，确认限流已生效。
正准备收工之时，打开浏览器访问了一下，？？？？？？怎么给我下载了个php文件？？？？

修复php

再次一顿搜索，引入php相关配置，测试通过。
最终nginx配置代码在👆

小样，我还治不了你了？

关闭docker，修改线上配置，线上测试通过。
一套完美3连之后，看着满屏的爬虫访问503，美滋滋