AWS S3 屏蔽了Googlebot对我的图片URL的访问——以下是我的恢复方法

早在六月中旬，我注意到谷歌在谷歌搜索和发现中没有显示我的许多图片，一些读者也向我指出了这一点。因此，我使用了方便的谷歌搜索控制台URL检查工具，发现我用于托管图片的这些S3 URL阻止了Googlebot的抓取。这是本人对我的图片URL所遇到的索引/抓取问题的一个案例研究。

由于这个AWS的错误，我的图片在谷歌搜索和谷歌图片中的展示量下降了83%。访问本网站的图片搜索相关点击量下降了76%。即使在几周后，我的展示量和点击量分别下降了大约16%和26%，依然有了巨大的改善。

这是谷歌搜索控制台的搜索性能报告，显示了随时间推移的展示和点击图表。你会看到大约在6月15日出现下降，然后在7月8日左右开始回升。即使在两个月后，我的图片流量仍未完全恢复到AWS错误前的正常水平：

当Googlebot尝试访问我的S3图片URL时，谷歌收到了404未找到错误。但是当我用电脑访问这些URL时，它们加载正常。这些是我在这个网站上使用了十多年的相同图片URL，结果有一天，AWS决定阻止Googlebot。我联系了谷歌和AWS关于这个问题，估计这是个相当大的问题。大量网站使用S3来存储图片和文件，所以Googlebot可能会收到大量404错误。奇怪的是，我在公开场合没有看到任何关于这个问题的投诉。

无论如何，当Googlebot试图抓取这些URL时，他们看到了以下内容：

AWS在几天后解决了这个问题：

以下是我的图片在谷歌搜索控制台的URL检查工具中的样子：

它应该看起来像这样：

从那时起，我决定将我的图片转移到AWS的CloudFront——在我创建这个网站时这个服务还不提供——这就是为什么我当时使用S3来存储图片的原因。Googlebot的问题仍然得到解决，并且运行良好。但我不会再回到S3存储图片了。

我要感谢Glenn Gabe，他还在谷歌发现中早期注意到图片的消失。Glenn还撰写了这篇图片迁移文章，我在从AWS S3迁移到AWS CloudFront之前阅读了这篇文章。我没有迁移旧图片，我保留了它们，因为AWS解决了这个问题。但自六月底以来，我所有的新图片都使用了CloudFront。

需要明确的是，这不是谷歌的漏洞，而是亚马逊AWS的更改导致AWS S3封锁了Googlebot。目前问题已经解决，但看起来损害已经造成……如果数据图表有更多变化，我会在下面更新这篇文章来记录这些变化。不过，目前的情况已经持续了大约5周，所以我不预计未来会有大的变化。

总结：

本文通过一个实例研究，详细描述了亚马逊AWS S3服务所发生的问题，导致作者网站的图片在谷歌搜索和发现中显著下降。作者在六月中旬注意到他的网站在谷歌搜索和图片展示中出现问题，经过谷歌搜索控制台工具检查，发现是由于Googlebot对S3 URL抓取时遭遇了403错误所致。这一错误导致图片展示量下降了83%，点击量下降了76%。尽管在AWS问题修复后，展示量和点击量有所回升，但依然未完全恢复。

作者通过迁移图片托管服务到AWS的CloudFront解决了此问题，并分享了与谷歌和AWS的沟通经验。作者还感谢了Glenn Gabe的早期发现与支持，强调了此次问题并非谷歌漏洞，而是AWS引起的。最后，作者表示将继续监测数据变化。

通过这次案例，显而易见，不论是托管服务选择，还是流量监测，都需要高度重视。而使用光年AI的智能化私域流量管理，可以让您在面对类似问题时更加从容，精准触达每一个潜在客户，助力您的私域流量高效增长，让您的业务从中获得超常规的发展。