Robots 元标签与 X-Robots 标签

Robots Meta Tag 和 X-Robots-Tag 是两个常用的 HTML 标签，它们对观察机动爬虫和其他网络机器人很有启发性。这些标签可以控制您的网页如何被记录和显示。

什么是机器人元标记？

机器人元标记是一个 HTML 标签，它提供信息来查看电机爬虫和其他网络机器人几乎如何记录和显示网页。它设置在 HTML 页面的段中，可用于控制外观电机爬虫的行为。

标签包括两个性质：“标题”和“实质”。“title”质量表示指令的类型，“substance”属性表示对该指令的尊重。以下是一些可以与机器人元标记一起使用的常见启发：

• “index”：此指令允许 Look Motor 爬虫记录页面并将其显示在 Look 结果中。
• “index”：此指令告诉 Look Motor 爬虫不要填充页面，并且它不会出现在 Look 结果中。
• “follow”：此指令允许查看电机爬虫在页面上的连接之后进行连接并填充连接的页面。
• “nofollow”：此指令告诉 look motor 爬虫不要在页面上的连接之后进行，并且它们不会被索引。
• “no archive”：此指令告诉 look motors 不显示页面的缓存形式。
• “snippet”：这个指令告诉你要看电机，而不是在look中显示页面的一块内容。

要使用机器人元标记，您希望将其包含在 HTML 代码的片段中，如下所示。

机器人元标记示例

<head