从日志检查网站的错误

最近一直在观察百度抓取网站的日志，

主要通过命令
cat /log/www.phpsong.com.log|grep 07/Apr/2016|grep Baiduspider>test.log
通过命令修改日期把网站的日志查生成到一个文本中，然后把文本下载到本地检查

我发现

1）有人在模拟百度的蜘蛛爬我的网站，这个没有好的解决方法

2）百度抓取状态码304
123.125.71.17 - - [10/Apr/2016:11:49:51 +0800] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -
发现sitemap.xml有304的情况，刚开始的时候看错了这个状态，以为是403，拒绝访问，查了服务器，查了文件权限，最后发现看错了，坑啊。但是问题还是有的http 304状态是文件没有更新，然后发现是我的脚本被禁止了，到百度站长平台，发现已经有几天sitemap的提交的链接为0了

然后修复服务器上脚本的问题，然后在百度站长平台手动更新一下sitemap，状态码正常了

QQ交流群：136351212
查看原文：http://www.phpsong.com/2324.html