一、DNS异常。
你的网站出现DNS异常,就是IP地址出现错误,或者所搜引擎将你的网站停封,因而无法解析你的网站所以会出现DNS异常。
二、域名到期。
域名过期网站肯定不能访问,域名解析会失效,网站抓取就会失败。
三、连接超时。
相信你的网站经常出现转圈圈,过会儿就出现了连接超时的情况,如果你的服务器连接超载,网络不稳定,搜索引擎抓取无法找到你的网站,所以会出现超时。
四、带跳跃的抓取诊断。
你更新内容或者修改网站,使用了301或302跳转,你的网站就会出现配置错误,从而导致抓取失败。
五、读取http头或者页面内容时失败。
服务器收到了百度spider的完整请求,服务器不会发生响应,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。
六、访问别拒绝。
你在搜索引擎抓取页面时,发出的请求别拒绝,网站会出现403错误。
七、301、302重新定向错误。
如果你的网站打开时,会出现跳转5次以上,就会出现重新定向错误,网站就会抓取失败。