【SEO】谷歌抓取时，多次302跳转会被认为是 404

• http://www.huangyong.org/ah/32597.html 
• 谷歌蜘蛛抓取时，避免 2次及以上的 302，否则会被认为是 404

 

Googlebot

Googlebot 是 Google 的网页抓取工具的通用名称。具体而言，Googlebot 是两种不同类型的抓取工具的通用名称：用于在桌面设备上模拟用户操作的桌面版抓取工具，以及用于在移动设备上模拟用户操作的移动版抓取工具。

您的网站很可能会被 Googlebot 桌面版和 Googlebot 智能手机版同时抓取。您可以通过查看请求中的用户代理字符串来确定 Googlebot 的子类型。不过，这两类抓取工具都遵循 robots.txt 中的同一产品令牌（用户代理令牌），因此您无法通过使用 robots.txt 有选择地指定 Googlebot 移动版或 Googlebot 桌面版。
 

 

Googlebot 如何访问您的网站
对于大多数网站，Googlebot 的平均访问频率不会高于几秒钟一次。不过，由于存在延迟，在一小段时间内，此频率可能会略高一些。

Googlebot 可在数千台计算机上同时运行，以提高性能并随着网络规模的扩大而扩展其作用范围。此外，为了降低占用的带宽，我们会在多台计算机上运行多个抓取工具，而这些计算机就位于它们可能会抓取的网站附近。因此，您的日志可能会显示有多台来自 google.com 的计算机访问了您的网站，而且所有这些计算机使用的都是用户代理 Googlebot。我们的目标是：每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。如果您的网站跟不上 Google 的抓取请求频率，您可以请求更改抓取速度。

禁止 Googlebot 访问您的网站
对于网络服务器，要想通过不发布指向它的链接来达到保密目的几乎是不可能的。例如，只要有人通过您的“私密”服务器上的链接访问了另一网络服务器，您的“私密”网址就可能会出现在引荐来源网址的代码中，并可能会被所访问的网络服务器存储和发布在其引荐来源网址日志中。同样，网络中包含许多已过期和已损坏的链接。只要有人发布了指向您的网站的不正确链接，或未能成功更新链接以反映您服务器中的更改，Googlebot 就会尝试从您的网站抓取不正确的链接。

如果您想阻止 Googlebot 抓取您网站上的内容，则可酌情使用系统所提供的多种方法。请注意，您为阻止 Googlebot 抓取网页、阻止 Googlebot 将网页编入索引以及完全阻止任何抓取工具和用户访问网页而需执行的操作各不相同。

验证 Googlebot
在您决定禁止 Googlebot 访问您的内容之前，请注意 Googlebot 所用的用户代理字符串经常会被其他抓取工具假冒。因此，请务必验证有问题的请求确实来自 Google。若要验证相应请求确实来自 Googlebot，最佳方法就是使用 DNS 反向查找来转换相应请求的源 IP 地址。

Googlebot 和所有正规的搜索引擎漫游器都会遵循 robots.txt 文件中的指令，但某些不良漫游器和垃圾内容发布者则不会。Google 会积极打击垃圾内容发布者；如果您在 Google 搜索结果中发现了垃圾网页/网站，您可向 Google 举报网络垃圾。

 

参考文章：http://bbs.484x.com/thread-460-1-1.html

将中的收藏导入收趣

收趣

准备导入 总共导入个书签

 

• 注意：
• 1.导入时请不要关闭页面，如果您的要导入的书签较多，请耐心等待
• 2.一旦看到导入完成，您的书签就已保存在收趣，但仍需要一段时间解析后才能在App中看到。

开始 完成 取消

已经导入条，确定要取消？

继续导入 取消导入

 

导入到收趣