nginx反爬虫配置

#forbidden Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient))
{
    return 403;
}

#forbidden UA
if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" )
{
    return 403;
}

#forbidden not GET|HEAD|POST method access
if ($request_method !~ ^(GET|HEAD|POST)$)
{
    return 403;
}

nginx中location模块的详细参数介绍
Nginx的Location可以有以下几个匹配：

1. = 严格匹配这个查询。如果找到，停止搜索。
2. ^~ 匹配路径的前缀，如果找到，停止搜索。
3. ~ 为区分大小写的正则匹配
4. ~* 为不区分大小写匹配
   5.!_和!*分别为区分大小写不匹配及不区分大小写不匹配

https://www.cnblogs.com/itsharehome/p/11114588.html