在Nginx中,您可以像这样阻止某些用户代理(通常是爬网程序):
/etc/nginx/sites-enabled/default
server {
listen 80;
server_name mysite.com;
root /etc/tomcat7/webapps/mysite;
if ($http_user_agent ~* (ahrefs|wget|crawler|majestic) ) {
return 403;
}
location / {
<!-- xxx -->
}
}
在上面的示例中,对于包含以下模式之一的“用户代理”: ahrefs|wget|crawler|majestic
,将返回HTTP 403。