站长们都知道网站日志的重要性,百度给网站日志的定义就可以看出他的意,记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾的文件.也就是说你可以通过网站日志观测到服务器的所有操作记录。
例如
2012-12-16 01:06:34 114.80.209.74 GET /inter.php STR=%E5%AE%9E%E4%B9%A0 80 - 123.125.71.87 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0
以上是网站日志中我截取的一条数据
解释下这段代码:
1、2012-12-16 01:06:34 是日期,也就是蜘蛛来的日期和时间了。
2、 GET /inter.php访问的页面 get表示获取
3、80是端口
4、123.125.71.87是蜘蛛的ip地址
5、Baiduspider/2.0;++http://www.baidu.com/search/spider.html)是百度蜘蛛
6、200 0 0表示抓取成功,标志蜘蛛访问页面,并带回数据库。
以上可以看到分析网站日志不需要什么高手,只要懂一点http代码就可以了。
第一,企业网站初建
我们一般都会焦急的等待搜索引擎收录网站内容,经常会做的事情就是去百度或者Google用命令site:下网站域名看看是否被收录,这个时候,其实我们没必要频繁的查询网站是否被收录,要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看,怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过,看返回的状态码是200还是其他,如果返回200说明抓取成功,如果返回404说明页面错误,或者页面不存在,就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点,一般谷歌机器人放出来的比较快,最快可秒杀,但是百度反应就慢了,最快也要一周左右,不过11月份百度算法调整后,放出来的速度还是很快的。
第二,网站收录降低
当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析,找出问题所在,这样可以解决网站收录问题,也是对完整优化大有裨益的。
第三,企业网站被k被处罚
我们必须要观察网站日志文件来亡羊补牢,一般这种情况下,日志文件里只有很少的几个蜘蛛爬行了首页和robots,我们要找出被K的原因并改正,再提交给搜索引擎,接下来就可以通过观察日志来看蜘蛛是否正常来临,慢慢过一段时间,如果蜘蛛数量增加或者经常来临并且返回200状态吗,那么恭喜你,你的网站又活了,如果半年都没反应,那么建议放弃该域名重新再战了。