谷歌工程师约翰·米勒(John Mueller)表示,对于一个网站来说,有20%的页面未被索引是正常的,这通常与整体网站质量有关,而不是技术问题。
谷歌的约翰·米勒在讨论索引问题时,指出对于较小的网站,通常不是因为爬虫预算(crawl budget)限制导致页面未被爬取,而是更可能与整体网站质量有关。
如果服务器没有返回500错误,那么服务器过载问题可能不是导致20%页面未被索引的原因。
米勒强调,谷歌在索引网页时会考虑整体网站质量,如果认为网站质量较低,就不会索引所有页面。
他还提到,即使是小型网站,也常常出现索引数量的波动,不会索引100%的内容,这是正常现象。
因此,如果一个有100页的网站中有80页被索引,这不应被视为问题。此外,米勒提到,现代网站技术上通常不会出现大问题,质量问题更为常见。-
核心观点
- 小型网站的未索引页面通常不是因为爬虫预算问题。对于小型网站,未被索引的页面更可能是因为整体网站质量的问题,而不是爬虫预算的限制。
- 服务器过载可能导致索引问题,但未必是20%未索引页面的原因。如果服务器返回500错误,可能会影响页面的索引,但如果没有这样的错误,服务器过载可能不是未索引页面的原因。
- 整体网站质量影响索引。谷歌在决定是否索引网站的所有页面时,会考虑整体网站质量。如果认为网站质量较低,就可能不会索引所有页面。-
- 索引数量会有波动,这是正常的。即使是小型网站,也不会有100%的页面被索引,索引数量的波动是正常现象。-
- 技术问题不常见。现代网站使用常见的内容管理系统(CMS)时,技术问题较少见,质量问题更为常见。-
参考链接:https://www.searchenginejournal.com/google-not-indexing-site/416717/