为什么网站收录会大幅下降，如何解决网站收录问题

大家在做百度或者谷歌 SEO 的时候，难免会出现索引问题！如果你的页面没有被索引或者索引量是呈现下降的趋势，那么这可能是一个不好的信号，表明搜索引擎可能不喜欢你的页面，或者可能无法轻松地去抓取它。原因是多方面的，可能是因为:

 

1、被搜索引擎惩罚，包括过滤，删除重复页面，爬虫页面等

2、搜索引擎认为你的网页是无关紧要的

3、服务器，加载速度，前端优化等原因导致不能抓取你的页面

 

一、先说说网站的抓取项目问题

在做 SEO 的时候，可以经常使用一些免费的 HTTP 头状态检查工具，或者是 shell 工具，来确定是否存在正确的状态码，特别是对于大型网站。典型的爬行工具如 Xenu，DeepCrawl，Screaming Frog，或 Botify 都可以测试这些，建议大家一定要养成良好的分析 weblog 的习惯。

 

谷歌站长工具后台的抓取效果图：

 

 

百度站长工具后台的抓取效果图：

 

 

大家也都知道正确的页眉状态码是200，有时可能会出现一些3xx (除了301)、4xx 或5xx 等错误状态码——对于要索引的 url 来说，这些都不是好消息。当然还有些服务器有带宽限制，比如虚拟主机，因为带宽较高会带来相关成本; 这些服务器可能需要升级。有时，这个问题与硬件有关，可以通过升级硬件处理或内存限制来解决。

当访问者以一定速度访问太多页面时，一些网站会阻止 IP 地址。这个设置其实是一个很冒险的方法，虽然是以避免 DDOS 攻击企图的，但它也可以对你的网站有负面影响，所以得谨慎一些，避免网站抓取成为一个问题。对于小中型的网站来说，预算可以的话，能提升服务器宽带就提升下；对于大网站来说，如果爬取预算阈值太低，正常的搜索引擎机器人爬行可能会达到阈值，机器人也不能正确地爬行网站，所以运营人员、运维人员要做好预算以及服务器缓存技术设置，让抓取效率最大化。

网站如果有反 ddos 软件，要么放缓设置，要么放松 bot 白名单 ，让它在特定时段都不被阻止。同时要做好监控，有一些假的搜索引擎机器人在那里; 一定要正确地检测到 baiduspider/googlebot。

 

二、网站内容重复问题

还有个问题就是内容重复，当然这对于电商网站尤为严重！一般造成这些重复的原因，就是动态参数太多，没有做好静态化造成的。大部分的页面都是相似的，就很容易被搜索引擎给隔离开。比如 Google search console 后台给出了重复的项（可惜百度没有这样的功能）：

 

 

修复重复内容通常需要实现规范标记、301重定向、 noindex meta 标记或 robots.txt 中的不允许选项，大多数情况下，索引页面的减少可能意味着一件坏事，但修复重复内容、旧内容或低质量内容也可能导致索引页面数量的减少，这些改良导致的页面索引下降反而是良性的。

 

咱们再看看这些参数，都是电商网站常出现的，如图：

 

 

当然还有其他的动态参数，比如 %，？，&…..这些都是造成重复的因素，技术人员一定要做好技术处理，避免大量动态生成。

 

三、网站的异常变动

这个也是导致索引大量下降的诱因，比如 CMS、后端 PHP 编程或服务器设置的更改都会导致主域、子域或文件夹的更改，从而改变了网站的 url，再加上没能及时修复这些链接，所以搜索引擎就会淘汰这些旧链接。搜索引擎确实可能会记住旧的 url，但是，如果它们没有正确地被重定向（一定要相关），或者其他技术处理，那么很多页面可能会被取消索引。再比如，大型网站一般改版都会留下数以万计的死链接，这些链接怎么去处理呢？这就需要具体问题具体分析了，也不能大量的去写301重定向，对搜索引擎也是一种不友好的行为….需要多手段去处理！

以上所说的也只是一部分，还有各种复杂的问题需要我们 SEO 工程师去检查…..索引问题也不是一朝的事情，几句话就能说清楚的！