最近一直在观察百度抓取网站的日志,
主要通过命令cat /log/www.phpsong.com.log|grep 07/Apr/2016|grep Baiduspider>test.log通过命令修改日期把网站的日志查生成到一个文本中,然后把文本下载到本地检查
我发现
1)有人在模拟百度的蜘蛛爬我的网站,这个没有好的解决方法
2)百度抓取状态码304123.125.71.17 - - [10/Apr/2016:11:49:51 +0800] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -发现sitemap.xml有304的情况,刚开始的时候看错了这个状态,以为是403,拒绝访问,查了服务器,查了文件权限,最后发现看错了,坑啊。但是问题还是有的http 304状态是文件没有更新,然后发现是我的脚本被禁止了,到百度站长平台,发现已经有几天sitemap的提交的链接为0了
然后修复服务器上脚本的问题,然后在百度站长平台手动更新一下sitemap,状态码正常了
QQ交流群:136351212
查看原文:http://www.phpsong.com/2324.html
从日志检查网站的错误
最新推荐文章于 2024-06-13 16:21:42 发布