有关nginx日志分析的一点记录

由于网站需要进行防止内容抓取，就要对各大引擎的user-agent进行判断，自己搜索了一下

各大搜索引擎的User-agent

google  (Googlebot)
baidu   （Baiduspider）
soso   （Sosospider）
sogou   （Sogou web spider）
yahoo   （Yahoo! Slurp China）
bing    （bingbot）
nginx日志格式：
默认格式：
log_format combined '$remote_addr - $remote_user [$time_local] '
                    '"$request" $status $body_bytes_sent '
                    '"$http_referer" "$http_user_agent"';
远程地址  远程用户  时间  请求方式及文件 状态 发送字节 发送者（应该是表明从哪个页面发送过来的） 搜索引擎别名及浏览器的一些信息