最近网站的收录情况不是很理想,网站添加了百度站长平台验证,就使用了抓取诊断功能,结果发现百度抓取失败。
提示“抓取异常信息:读取http头或者页面内容时失败”。
看看百度官方给出的修改建议:
【读取http头或者页面内容时失败】
您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。
我还以为是http头的问题,结果调整了一下还不行。
想想最近服务器的操作,好像安装了360主机卫士,难道是这个把百度蜘蛛屏蔽了?
卸载掉之后,重启了服务器,再尝试抓取诊断,抓取正常了。
如果您遇到这种情况,看看是不是服务器屏蔽了百度的抓取蜘蛛导致的。