安居客检测到网页抓取_原创内容不收录 解决网站抓取异常的有效分析方法

有的网站明明内容优质原创，用户可以正常访问，但偏偏网络蜘蛛无法正常访问抓取导致无法被收录，搜索结果覆盖率偏低，对搜索引擎和网站都是一种损失，这种情况就是抓取异常。对于大量内容无法正常抓取的网站，搜索引擎会以为网站存在用户体验上的缺陷，并降低对其的评价，在抓取、索引、排序上必然受到一定的负面影响，最终影响到网站从搜索引擎获取的流量。下面，小编总结了一些常见导致搜索引擎蜘蛛抓取异常的原因，供大家参考。

一．服务器连接异常

服务器连接异常一般有两种：一种是暂时无法连接，另一种是一直无法连接。对于用户来说，一个连接异常的服务器是他们是不会逗留的，网络蜘蛛同样如此，服务器连接异常的网站会被网络蜘蛛判断排除，导致抓取异常。造成服务器连接异常的原因通常是网站服务器过大，超负荷运转，通过检查浏览器是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器，导致出现抓取失败。。网站和主机还可能阻止了网络蜘蛛的访问，需要检查网站和主机的防火墙。选择一款安全稳定，性能好的服务器是网站优化的根本前提。

二．抓取超时

网站页面的加载速度一直是不可忽视的重点，对用户和搜索引擎的体验有着举足轻重的影响。用户访问页面时如果不能在第一时间打开页面，那么就会丧失兴趣，而跳到其他网站上去。而蜘蛛呢?同样如此，如果无法第一时间抓取，就会出现抓取超时问题了。 抓取超时，往往是因为带宽不足，以及页面太大而导致的。因此设计页面时应该对网页上的图片进行压缩；减少一些脚本的使用；控制页面长度和内链数量，可以在一定程度上缩减页面，减少服务器上的负担，缓解服务器过载的情况。

三． 网络运营商异常

国内主要的网络运营商有电信和联通。如果网络蜘蛛无法通过电信或联通的网络访问网站,则需要与网络运营商联系,购买拥有双线服务的空间,或者购买CDN服务。

四． DNS异常

当网络蜘蛛无法解析网站的IP地址，会出现DNS异常，这可能是由网址出现了IP地址错误，或者域名服务商将网络蜘蛛封禁的其中一种情况导致的。可以使用WHOIS或者host查询网站IP地址是否正确且可解析，如果不正确或无法解析，应与域名注册商联系，更新IP地址。

五． 设置错误

包括IP封禁和UA封禁。IP禁封是指限制网络的出口IP地址，禁止该IP段的使用者进行内容访问。而UA禁封则是针对服务器通过UA(用户代理)识别身份后的用户进行指定的跳转。这两种封禁都会导致网络蜘蛛无法正常到访抓取。应该识别设置是否误添加了相关搜索引擎网络蜘蛛的封禁。

六． 死链

死链就是页面已经无效，无法对用户提供任何有价值信息的页面，包括协议死链和内容死链两种形式：一种是协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。另一种内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。目前内容死链召回存在召回率的风险，所以建议各位站长尽量使用协议死链，以保证平台工具更好地发挥其作用。死链可通过死链工具提交给搜索引擎，减速死链造成的负面影响。

七．网站被挂马

网站被挂马也可能导致抓取异。查询挂马文件在哪里并删除，恢复网站，做好安全防范措施，防止下次被挂马。

各位站长平时要多多查看自己网站的网络蜘蛛抓取情况。如果发现偶尔抓取失败，则属于正常情况，不会对网站的正常抓取和收录造成影响。但如果抓取失败出现持续性的，则要引起注意了，根据网站出现抓取异常的具体原因做上述具体的分析。各位如果对网络蜘蛛抓取异常还存在其他疑问可以咨询【中网网络客】。

之后文章将会持续更新，为大家提供有质量的文章，尽情关注【中网网络客】