Nginx代理反爬设置

Nginx服务部署反爬设置

平常我们使用Nginx代理服务访问的时候，会存在有监控网站再爬取服务的信息，这时候我们需要设置规则拦截，当让有很多种方式，这里分享最简单粗暴的一种，直接配置Nginx拦截。

我接受到的爬虫信息

52.xxx.xxx.122 - - [13/Jun/2023:11:04:39 +0000] “GET /arth-marth/ HTTP/1.1” 401 581 “-” “Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/61.0.3163.100 Chrome/61.0.3163.100 Safari/537.36 PingdomPageSpeed/1.0 (pingbot/2.0; +http://www.pingdom.com/)”

来自一个叫http://www.pingdom.com/
这里我通过配置nginx的启动配置中的server信息，对其进行拦截：

在你的 Nginx 配置文件中，你可以添加一条规则来阻止来自 Pingdom 的爬虫。以下是一个示例：

server {
    if ($http_user_agent ~* "Pingdom") {
        return 403;
    }

    #...其他配置...
}

上述配置将会检查每个请求的 User-Agent，如果其中包含 “Pingdom”，那么将返回 HTTP 403 错误，表示该请求被服务器拒绝。这样，Pingdom 的爬虫就无法访问你的服务器了。

这是在服务器级别进行的配置，如果你希望在特定的 location 中阻止 Pingdom，你可以将这段配置放入相应的 location 块中。

需要注意的是，修改配置后，你需要重启或者重新加载 Nginx 以使配置生效。你可以使用以下命令来重载配置：

sudo systemctl reload nginx

这将会使 Nginx 重新加载配置文件，而不会导致正在处理的连接中断。

这种方法可以有效阻止大部分的规范的爬虫，但是对于恶意的爬虫可能就不太管用了，因为它们可能会伪造 User-Agent 来绕过这种限制。所以这只是防止爬虫的一种方法，你可能还需要采用其他的技术来保护你的服务。