爬虫日志分析

爬虫日志分析

大多数Google Analytics用户都知道，GA是通过Javascript标记来进行流量监控，是无法跟踪到搜索引擎爬虫记录的。唯一能够跟踪和分析爬虫的状况的是 分析Web日志。有两个法国朋友发现了一个解决办法，可以在Google Analytics里监控到爬虫动态，爬虫什么时候访问了网站、爬行了什么网页等等。

以上摘

 

之前一直希望统计功能具有分析爬虫的功能，结果没有，现在想想也是，js没办法分析agent

今天在nginx上使用grep查看了一下爬虫的信息，google爬的勤，baidu爬虫已经来光顾了，但是每次只是访问一下，看看我的网站有没有反应，我当然给了个200了，呵呵，现在baidu还没有收录，我在观察，

posted on 2010-09-05 17:40  lexus 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/lexus/archive/2010/09/05/1818518.html