nginx 日志过滤网络爬虫

分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。

鉴于多数蜘蛛爬虫都是叫xx-bot或者xx-spider，下面的方法可以给爬虫单独写日志：

1 2 3 4 5

location / {     if  ($http_user_agent ~*  "bot|spider" ) {       access_log      / var /log/nginx/spider.access.log;     } }

或者干脆不写日志

1 2 3 4 5

location / {     if  ($http_user_agent ~*  "bot|spider" ) {       access_log off;     } }

本文转自 紫色葡萄 51CTO博客，原文链接：http://blog.51cto.com/purplegrape/1377365，如需转载请自行联系原作者