Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]

原创 2004年10月11日 14:33:00
Robots Meta Tag的使用

Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且,它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限,有些搜索引擎现今已完全遵循Robots Meta Tag,如Inktomi. Robots Meta Tag的格式: The Robots META tag放于后台HTML源代码的标头区(HEAD区)中,其格式类似于:(大小写均可)
  <HTML>
  <HEAD>
  <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
  <META NAME="DESCRIPTION" CONTENT="THIS PAGE ....">
  <TITLE>...</TITLE>
  </HEAD>
  <BODY>
  ...
Robot Meta Tag选项:
  在一个Robots Meta Tag 中可使用的指令有四个:INDEX, NOINDEX, FOLLOW和 NOFOLLOW,以“,”分隔。其中:
  INDEX指令:表示Robot可以索引本页;
  FOLLOW指令:表示Robot可以跟踪本页链接;
  NOINDEX指令:表示拒绝Robot索引本页,但可跟踪该页上的链接;
  NOFOLLOW指令:表示拒绝Robot跟踪本页链接,但可索引本页。
  实例:
  <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
  <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
  <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
  <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
  在一些关于Robots Meta tag的搜索引擎文章中提到说,预定义的缺省设置是INDEX和FOLLOW。然而对Inktomi来说却并非如此。Inktomi的缺省项是INDEX和NOFOLLOW。
  另外还有两个全局指令:ALL和NONE.
  ALL=INDEX,FOLLOW:表示可以索引本页,且可跟踪该页链接;
  NONE=NOINDEX,NOFOLLOW:表示不允许索引本页,且不允许跟踪该页链接。

Robots Meta Tag的使用

Robots Meta Tag的使用 Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且,它也应用于没有对服...
  • bjbs_270
  • bjbs_270
  • 2004年10月07日 20:24
  • 1094

HTML 中标签 <meta name="robots" content=""> 的含义

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写      需要注意的是,这样的标记仅仅是禁止搜索引擎为你的网站建立快...
  • aerchi
  • aerchi
  • 2016年08月18日 12:24
  • 2869

SEO优化meta标签 name="robots" content="index,follow,noodp,noydir"解释

SEO优化meta标签 name="robots"content="index,follow,noodp,noydir"是什么意思呢,我们这就来解释一下。 name="ROBOTS"content...
  • jiang314
  • jiang314
  • 2016年03月23日 17:13
  • 1886

<meta name="robots" content="INDEX,FOLLOW">的含义 seo

robots.txt是放在网站中,文件级的网络蜘蛛授权;而robots Meta标签是放在网页中,一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在和之间...
  • yangyun_1999
  • yangyun_1999
  • 2014年06月24日 16:02
  • 1365

关于Robots META tag的使用

Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。例:在网页中追加以下tag:指明不让索引和追踪。 参考:http://www.jz5u.com...
  • kunshan_shenbin
  • kunshan_shenbin
  • 2010年05月18日 10:38
  • 303

Meta Tag 详解

meta是html语言head区的一个辅助性标签。几乎所有的网页里,我们可以看到类似下面这段的html代码:  也许你认为这些代码可有可无。其实如果你能够用好meta标签,会给你带来意想不到的效果,例...
  • sforiz
  • sforiz
  • 2010年08月09日 10:19
  • 5132

Meta标签Robots之NOODP、NOYDIR

NOODP(No Open Directory Project):在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。 NOYDIR(No Yahoo ...
  • myweishanli
  • myweishanli
  • 2015年02月11日 08:22
  • 373

HTML文档中小meta的大作用[转自http://www.gccgle.com/2004-02/20040206233121.html]

HTML文档中小meta的大作用 meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的<head>与</head>中,meta 标签的用处很多。meta 的属性有两种:...
  • sailingcelery
  • sailingcelery
  • 2004年10月11日 14:31
  • 732

网站的robots 文件写法 附自动生成工具网址

现在网站站长为了网站内容更多被各大搜索引擎收录,会在robots.txt中写入各种规则, 现介绍一个方便的方法,到一个网站自动生成: 网址如下:http://tool.chinaz.com/rob...
  • ubggze6t
  • ubggze6t
  • 2014年08月25日 16:59
  • 536

爬取网站前1_解析网站robots.txt文件

使用爬虫爬取数据前,我们需要解析网站robots.txt文件,以避免下载禁止爬取的url。这项工作需要使用python3自带的urllib.robotparser模块 #使用爬虫爬取数据前,我们...
  • Pop_Rain
  • Pop_Rain
  • 2017年05月19日 09:56
  • 805
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]
举报原因:
原因补充:

(最多只允许输入30个字)