为节省流量,禁止部分流氓爬虫或不重要的爬虫。nginx 用 if 和 $http_user_agent。
如:
- location / {
- root /home/www/;
- if ($http_user_agent ~* "qihoobot") {
- return 403;
- }
- #...
- }
location / { root /home/www/; if ($http_user_agent ~* "qihoobot") { return 403; } #... }
然后重启 nginx
kill -HUP `cat logs/nginx.pid`
可以用 curl 测试一下
curl -I -A "qihoobot" localhost
看到返回 403 就正常了