Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]

最新推荐文章于 2024-03-26 10:52:28 发布

sailingcelery

最新推荐文章于 2024-03-26 10:52:28 发布

阅读量995

点赞数

分类专栏： little skill 文章标签：搜索引擎 html 服务器 web

本文链接：https://blog.csdn.net/sailingcelery/article/details/132165

版权

little skill 专栏收录该内容

10 篇文章

订阅专栏

Robots Meta Tag的使用

Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且，它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限，有些搜索引擎现今已完全遵循Robots Meta Tag，如Inktomi. Robots Meta Tag的格式： The Robots META tag放于后台HTML源代码的标头区(HEAD区)中，其格式类似于：(大小写均可)
　　<HTML>
　　<HEAD>
　　<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
　　<META NAME="DESCRIPTION" CONTENT="THIS PAGE ....">
　　<TITLE>...</TITLE>
　　</HEAD>
　　<BODY>
　　...
Robot Meta Tag选项：
　　在一个Robots Meta Tag 中可使用的指令有四个：INDEX, NOINDEX, FOLLOW和 NOFOLLOW，以“,”分隔。其中：
　　INDEX指令：表示Robot可以索引本页；
　　FOLLOW指令：表示Robot可以跟踪本页链接；
　　NOINDEX指令：表示拒绝Robot索引本页，但可跟踪该页上的链接；
　　NOFOLLOW指令：表示拒绝Robot跟踪本页链接，但可索引本页。
　　实例：
　　<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
　　<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
　　<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
　　<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
　　在一些关于Robots Meta tag的搜索引擎文章中提到说，预定义的缺省设置是INDEX和FOLLOW。然而对Inktomi来说却并非如此。Inktomi的缺省项是INDEX和NOFOLLOW。
　　另外还有两个全局指令：ALL和NONE.
　　ALL=INDEX，FOLLOW：表示可以索引本页，且可跟踪该页链接；
　　NONE=NOINDEX，NOFOLLOW：表示不允许索引本页，且不允许跟踪该页链接。