利用网站日志分析百度蜘蛛爬行规律

   通过网站日志分析工具Splunk 检索 BaiduSpider对网页的请求次数，得出百度蜘蛛的规律。

   1，百度蜘蛛对网站资料的爬行检索是一个持续的过程。在网站运行的每个区间都存在。（也有本站访问人数相对较多的关系）

   2，网传百度蜘蛛喜欢夜间活动，从7月11日图表来看并不明显，但从7-12日图表来看。在凌晨1点到8点的区间段的确要略高一点。

图表如下。

2012-7-11日百度蜘蛛的请求次数（每格代表半小时）

2012-7-12日百度蜘蛛的请求次数（每格代表半小时）