2022 最新Robots.txt文件教程

什么是Robots.txt文件？它有什么作用？

Robots.txt 是网站里的一个文件，它告诉搜索引擎抓取工具（蜘蛛）禁止或允许抓取网站的哪些内容。主流搜索引擎（包括 Google、Bing 和 Yahoo）都能够识别并尊重 Robots.txt的要求。

如需查看网站是否有Robots文件，请访问网址：域名/robots.txt，譬如https://xxx.com/robots.txt, 下图的示例，是一个 WordPress网站安装完Rank math SEO插件自动生成的robots文件及其内容。

本文原文出自专注于外贸建站的LOYSEO：https://loyseo.com/robots-txt/

Robots.txt 是怎么运作的？

要想知道Robots.txt文件是如何发挥作用的，就要了解搜索引擎的工作机制：①爬行②抓取③索引（也可以叫做收录）。

• 爬行：搜索引擎的蜘蛛在爬网的过程中，通过从其他网站中获取到了你的网址，那么它就会记录下这个网址。还有，你也可以通过搜索引擎的站长工具，譬如在Google Search Console中提交你的网站地图（Sitemap），告知搜索引擎你的网站网址。

• 抓取：蜘蛛通过访问之前爬行获取的网址，抓取你网页里的内容并存档。爬行就像记录商店门牌号，抓取就是进店拍照。那是否你提交的网址一定都会被抓取呢？不一定，因为搜索引擎分配给你的抓取份额是有限的，如果你的站点很小，那基本不用担心，那如果你的站点规模庞大，那么，对于使用Robots.txt文件，禁止某些不必要的内容被抓取，就很用必要了，这能让抓取份额用在有意义的地方，而不是被无意义的内容消耗。

• 索引：也被称为收录，英文叫做index，也就是搜索引擎将之前抓取到的内容，呈现到用户搜索的相关搜索引擎结果中了。你可以通过在搜索引擎的搜索框中输入命令&#x