90% 的 SEO 从业者忽略了这一核心变量：网站抓取深度的系统优化方法全解析

什么是抓取深度？

抓取深度是指从主页开始到达一个页面所需的最少点击次数。

网站主页的抓取深度为零。 链接在网站页眉或页脚的 "About Us"页面的抓取深度为 1。 电子商务页面上的一个很少使用的产品页面的抓取深度可能会超过 5。

抓取深度很重要，因为它会影响索引。 它能让机器人更容易浏览您的网站。 这反过来又最大限度地提高了 “抓取预算”，即谷歌等搜索引擎由于服务器资源的原因，一次访问所能索引的页面数量。

1. 构建清晰的站点架构

您的网站架构是您组织页面的方式。链接良好、分层且相对“扁平”的架构最适合可抓取性。

较大的网站将具有更复杂的架构，但通常最好将页面保持在主页的 5 次点击范围内。

以下是构建针对爬网深度优化的网站架构的方法：

• 将信息内容组织到主题和子主题的群集中。
• 使用电子商务网站上的类别页面。
• 避免孤岛页面（没有任何链接的页面）。
• 使用标题导航栏中的下拉菜单链接到您的主页。
• 使用清晰的 URL 结构来反映类别和主题，例如：neilpatel.com/training/growth-hacking-unlocked/untold-laws-of-growth。

如果您不确定现有的站点结构是什么样子的，PowerMapper 等工具可以创建易于理解的可视化效果。

2. 创建 HTML 和 XML 站点地图

维护最新的 HTML 和 XML 站点地图是优化抓取深度的最简单方法之一。

HTML 站点地图专为人类浏览器设计。另一方面，XML 站点地图是用 XML 模式编写的，XML 模式是一种特殊语言，可以告诉机器人您的页面。

Google 鼓励使用 XML 和 HTML 站点地图。虽然搜索引擎主要依赖 XML 站点地图进行索引，但 HTML 站点地图也提供有关站点层次结构的有用信息。

《纽约时报》的 HTML 站点地图简单但有效：

以下是 NeilPatel.com 上的一个 XML 站点地图示例：

如果您运营一个页面超过 50,000 个的大型网站，则需要创建一个链接到多个站点地图的站点地图索引页面。

虽然您可以手动创建 XML 站点地图，但有很多工具几乎无需输入即可完成这项工作。

3. 保持一致的内部链接实践

即使您拥有完美的网站结构，内部链接也会进一步减少页面的抓取深度。它还尽可能地利用了抓取预算。

大型网站尤其如此。让我们以 Wikipedia 为例，它拥有网络上最好的内部链接结构之一。

如果仅使用导航栏，则某些页面的抓取深度可能达到两位数。然而，由于广泛的内部交叉链接，搜索引擎甚至可以快速找到最利基的内容。

以下是内部链接的主要最佳实践：

• 使用关键字丰富的描述性锚文本。
• 避免对同一页面上的两个不同链接使用相同的锚文本。
• 优先考虑具有深度爬网深度和较少现有链接的页面。
• 链接时请牢记相关性。
• 链接到子页面和父页面。
• 定期更新旧页面，提供指向新相关内容的链接。

在创建新页面时使用链接建议工具也很有帮助。内部链接自动化的名声很差。但是当与人类判断结合使用时，它会非常有帮助。

一个人根本不可能从数千甚至数万页的池中均匀地挑选。

4. 从“Information Scent”的角度思考

优化抓取深度与加快索引速度一样，可以改善用户体验。

这就是为什么平衡技术 SEO 考虑与用户需求很重要的原因。这种方法将产生连锁 SEO 效应。幸运的是，对 Google 运行良好的网站也往往对真实的人运行良好。

“Information Scent” 是优化用户体验同时减少抓取深度的有用工具。根据 Nielsen Norman Group 的说法，这是 “对页面如果被访问的相关性的估计”。

具有更强信息气味的链接更容易被用户评估，因此更有可能被点击。

确定 Information Scent 的三个组成部分：

1. “链接标签”或锚文本
2. 周边内容
3. 链接的更广泛背景

例如，寻找家具优惠的访问者可以快速评估点击下面沃尔玛页面中央图片上的“Shop Now”是否能满足他们的需求。它有一个清晰的链接标签、有用的周边内容，并且位于更广泛的产品促销环境中。

5. 不要过度优化大型网站

有时，实现低于 5 的通用爬行深度是不可取的。事实上，它可能会使您的网站不那么用户友好。

在这些情况下，最好的办法是专注于优化您的网站结构和站点地图。一个完整的站点地图将最大化每个会话索引的页面数量。可靠的网站结构将有助于避免混乱的用户体验。

例如，Microsoft 就有一个巨大的网站。但它利用了具有清晰导航标签和大量内部链接的层次结构。

Microsoft 还提供了一个全面的 HTML 站点地图，并为其多个子域提供了 XML 站点地图。

6. 从主页链接到定期更新的页面

如果你的页面经常变化，那么尽快将它们重新编入索引是很重要的，这样它们才能在合适的关键词中排名。通过从主页链接到他们来减少他们的抓取深度。

例如，Target 的“New Arrivals”页面反映了其春季范围：

Etsy 在相关月份的导航栏中包含其母亲节页面：

7. 遵循分页最佳实践

分页是指将内容拆分为多个页面。例如，在博客索引页面或电子商务类别页面上。

Semrush 博客使用分页：

分页的问题在于它创建的页面具有高爬取深度。电子商务网站通常可以有数百甚至数千个产品类别的页面。

请遵循以下分页最佳实践来防止索引问题：

• 为每个页面提供自己的 URL，例如使用 ？page=n 参数。
• 在所有页面上包含指向后续页面和上一页的链接，以及分页序列中的第一页。
• 为每个页面提供自己的规范 URL，以防止内容重复问题。
• 使用 noindex 标签阻止 Google 使用过滤器将 URL 编入索引（例如按大小过滤的产品类别页面）。
• 从除前两个页面之外的所有页面中删除 SEO 元素，以阻止这些页面出现在搜索结果中。

请记住，搜索引擎爬虫可以通过跟踪分页页面来发现新内容，因此不要阻止这些页面被编入索引。

8. 管理您的“URL Inventory”

您的 URL 清单是您希望搜索引擎抓取的 URL 列表。

通过定期修剪您的库存，您可以为搜索引擎释放带宽来抓取您网站的其他区域。这意味着，即使是抓取深度较高的页面也更有可能被快速编入索引。

Google 提供了以下提高可抓取性的提示：

• 尽可能删除重复内容。
• 将 robots.txt 文件用于不需要高优先级索引的页面。
• 对永久删除的页面使用 404 或 410 状态代码。
• 删除软 404 错误（重定向到不相关的内容）。
• 确保您的 XML 站点地图是最新的。
• 尝试删除长 301 重定向链。

所有这些技术调整也将提高网站的可用性，这可能会带来小幅的 SEO 提升。

9. 使用工具修复断开的链接

断开的链接会增加抓取深度，原因显而易见。

如果一个页面存在，但指向它的内部链接无法正常工作，那么抓取路径很可能会延长。在最坏的情况下，它可能会变成一个孤岛页面。

像 Ubersuggest 这样的工具会定期运行审计并识别损坏的链接，然后您可以修复这些链接。

10. 定期检查您的指数覆盖范围

虽然工具可以自动识别链接损坏等问题，但人工审核也可以发挥作用。没有什么可以替代在 Google Search Console 中检查你的索引覆盖率。

具体来说，报告的“Why pages aren’t indexed”部分会提醒您注意可能与抓取深度相关的任何索引问题。

如果新的和更新的页面被快速索引，那是一个好兆头，表明你在抓取深度方面走在正确的轨道上。

最后

如果您的网站呈现速度快，您将使用更少的抓取预算。搜索引擎机器人将在一次抓取中访问和读取更多页面。

使用 PageSpeed Insights 测试页面的速度并对其进行故障排除。将页面速度控制在 2 秒以下。

抓取深度是优秀 SEO 的一个小而重要的部分。

Google 为您的页面编制索引的速度以及用户浏览它们的难易程度会直接影响您的排名、流量和转化率。

更重要的是，保持较浅的爬行深度（在适当的情况下）是一项简单的任务。如果您正在处理一个组织不善的大型网站，则会有更多的前期工作。

但在那之后，一切都与定期监控和遵循最佳实践有关。