今天说一下大家所常见的HTTP Status Code:404,这边分享一个分析发现问题的思路,至于404页面对搜索引擎爬虫什么影响这边就不提了。
404是由客户端与服务器端交互时所产品的一个HEAP信息响应码,很多抓包都能查看到Head信息。
如:
当爬虫解析抓取网页时,会返回这样一些Head信息,同时当你服务器日志开启记录此信息时,就能每天及时记录这些信息,爬虫抓取返回的一些信息,这都是大家所知的基础常识。
——————————–正题—————————
情景:当你提交死链接给搜索引擎时,大家通常都会这么做,通过SEO日志分析软件把404页面筛选出来,然后上传提交到百度or谷歌站长管理工具,然后某些情况下会遇到。
【百度站长平台】
“http://SEO.xxx.cn/:提交的1个死链文件包含活链,死链不能快速删除。2014年04月16日
您最近提交的1个死链文件因混杂较多活链,导致所有死链不能快速删除,您可以到死链删除工具查看详情。
以下是部分死链文件:
seo.xxx.cn/404_05.txt
常见原因和解决方案:
1、若错误提交了活链,请将活链从死链文件中排除。
2、若确认希望百度删除这些链接,请将链接返回状态码设为404。”
————————–还是蛮友好的一个提醒,说明这里面确实存在活链。
回顾
404链接是通过Shell批量从日志里筛选出来了,判断条件是状态码为404,理论上可以肯定的是,爬虫抓取的那个时间戳下抓取是404的。针对这个时间戳及抓取的页面,我们再看看其它爬虫在这时间戳下也是404;
【划画线这两个页面此时能正常打开返回200状态码】
分析(对比分析&排除法)
Q1:是从哪个时间戳开始的? 持续了多长时间?
Q2: 服务器问题人为操作还是自然事件?
Q3: 伪静态规则出问题?
Q4: 。。。。。。。。。。。。。?
界定好分析的数据范围,关注特征,进行排除
1、3月31日是周六,对于我们来说是大周,周六要上班,因为可以 排除在工作时间断内出的问题。
2、既然服务器出错,那日志应该是有连续性的,日志行是404的,如果不是连续404,说明服务器会有短暂宕机可能性
3、以07:53 OR 07:56 查看其日志行,就能排除服务器宕机问题
可以看出并非是服务器宕机问题。。。伪静态规则存在问题,倒置某些页面没规律的出现问题,接下来交由运维处理。
总结:这是一个SEO致命的问题,分析才能找出幕后真正问题源。SEO需要分析,需要一定技术,更需要具备一定常识。你觉得呢?