Google SEO 搜索中心-CSDN博客

本文链接：https://blog.csdn.net/SaRAku/article/details/129187821

文章讲述了如何管理网站在Google搜索中的可见性，包括使用robots.txt和noindex元标签禁止搜索引擎收录特定页面或图片，以及使用X-Robots-Tag进行更细粒度的控制。同时，介绍了URL规范化和结构化数据对SEO的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在公司发展还没有那么成熟的时候，也许你的测试网站是外网可以公开访问的，也许你网站中的机密图片在测试环境（不小心上到正式环境）却被搜索引擎无情抓取，以及有些内部用户才能使用的网址，你并不想被搜索引擎抓到。
这时候，就要祭出Google SEO 搜索中心了。
文档阅读：
Google搜索中心

重点：

首先进行网站所有权验证，可以通过HTML文件和Meta标签两种方式。
将测试、正式网站都验证上，之后可以进行Google搜索的管理。

测试网站 / 不想被搜索引擎收录的网址

参考文档：
从 Google 搜索结果中移除您网站上托管的网页
 robots.txt 简介

紧急在【编制索引-删除】的这个菜单中申请移除。（1天内受理，管用6个月）
永久有效：然后在网站上增加robots.txt文件，它规定了搜索引擎抓取工具可以访问网站上的哪些网址

User-agent: *

Disallow: /user
Disallow: /*/user

但是这样有个问题，测试网站是需要全部禁止、正式网站只禁止几个网页，在robot.txt中无法识别测试还是正式，因此需要其他的灵活设置方式。可以使用noindex或者X-Robots-Tag
使用 noindex 阻止搜索引擎编入索引

// 为防止支持 noindex 规则的所有搜索引擎将您网站上的某个网页编入索引，并将以下 <meta> 标记添加到网页的 <head> 部分：
<meta name="robots" content="noindex">
// 若想仅阻止 Google 网页抓取工具将网页编入索引，请使用以下元标记：
<meta name="googlebot" content="noindex">

因此，综上，noindex方式将安置在测试网站的所有页面，而robot.txt记录正式网站中不希望被搜录的网址。

不想被搜索引擎收录的图片

从搜索结果中移除您网站上托管的图片

在【编制索引-删除】的这个菜单中申请移除。（1天内受理，管用6个月）
然后使用使用 robots.txt 规则移除图片，比如：

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

// 移除全部图片（测试环境之类的）
User-agent: Googlebot-Image
Disallow: /

更灵活的配置方式，设置响应头：X-Robots-Tag，这需要为每张图片配置上。当然最好的方式是直接不允许外网访问，这样就不用为每张图片配置了。
不过我们的图片一般存储在OSS上，我不了解，也不清楚怎么给OSS配置这个响应头。

X-Robots-Tag:"noindex, nofollow"

SEO规范网址

为重复的页面选择正确的规范网址

// 在想要规范合并的重复页面上增加这个标记头：
<link rel='canonical' href='' />

例如，在 /checkout1，/checkout2，/checkout3 页面中的 < head> 标签中添加以下标签：
<link rel="canonical" href="https://www.example.com/checkout" />
这样搜索引擎就会认为 /checkout 页面是主要页面，而 /checkout1、 /checkout2和 /checkout3 页面是重复内容，并且只会索引 /checkout 页面。

SEO结构化数据

结构化数据：在搜索引擎页面中展示出商品的简要信息，甚至包括产品简介、产品评分、产品图片等。
参考文档：结构化数据

 <html>
  <head>
    <title>Executive Anvil</title>
    <script type="application/ld+json">
    {
      "@context": "https://schema.org/",
      "@type": "Product",
      "name": "Executive Anvil",
      "image": [
        "https://example.com/photos/1x1/photo.jpg",
        "https://example.com/photos/4x3/photo.jpg",
        "https://example.com/photos/16x9/photo.jpg"
       ],
      "description": "Sleeker than ACME's Classic Anvil, the Executive Anvil is perfect for the business traveler looking for something to drop from a height.",
      "sku": "0446310786",
      "mpn": "925872",
      "brand": {
        "@type": "Brand",
        "name": "ACME"
      },
      "review": {
        "@type": "Review",
        "reviewRating": {
          "@type": "Rating",
          "ratingValue": "4",
          "bestRating": "5"
        },
        "author": {
          "@type": "Person",
          "name": "Fred Benson"
        }
      },
      "aggregateRating": {
        "@type": "AggregateRating",
        "ratingValue": "4.4",
        "reviewCount": "89"
      },
      "offers": {
        "@type": "Offer",
        "url": "https://example.com/anvil",
        "priceCurrency": "USD",
        "price": "119.99",
        "priceValidUntil": "2020-11-20",
        "itemCondition": "https://schema.org/UsedCondition",
        "availability": "https://schema.org/InStock"
      }
    }
    </script>
  </head>
  <body>
  </body>
</html>