机器人的meta标记

翻译 2007年09月20日 11:22:00
原文地址:http://javascriptkit.com/howto/robots2.shtml
如果你的网站供应商禁止你上传robots.txt文件到根目录,或者你仅仅是希望部分定制搜索爬虫对于你网站上的一些页面的动作,有一个可以代替robot.txt的方法,那就是使用robots的meta标签。

创建你的机器人meta标志
其实,机器人的meta标志和其他的meta标志没有什么两样,一定是添加在你的页的head部分的。
<meta name="robots" content="noindex,nofollow" />
这里有一个contents属性可以使用值的列表
描述
(no)index 是否允许爬虫索引该页面,允许的值: "noindex"或"index"
(no)follow 是否允许爬虫跟踪页面中的链接并且挖掘它们,允许的值"nofollow"或"follow."
这里有一些例子
1> 以下代码不允许对当前页索引,也不允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="noindex,nofollow" />

2> 不允许页面索引,但允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="noindex,follow" />

3> 允许页面索引,但不允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="index,nofollow" />

4> 最后,有一个简单的方式来声明1>中的东西
<meta name="robots" content="none">
 

相关文章推荐

网站优化之META标记优化

  • 2011-10-19 10:49
  • 38KB
  • 下载

Meta标记的用法

  • 2013-03-01 10:38
  • 88KB
  • 下载

第20天新手SEO基础计划之:Meta标记控制搜索结果

要控制搜索引擎的结果,不论是内部搜索引擎还是外部搜索引擎,最基本的方法就是给页面写入名称属性为ROBOT的Meta标记,其内容还应该包括INDEX或者NOINDEX,以及FOLLOW或者NOFOLLO...

头部标记中meta关键词的用法

meta标签共有两个属性,它们分别是http-equiv属性和name属性,不同的属性又有不同的参数值,这些不同的参数值就实现了不同的网页功能。 1、name属性 name属性主要用于描述网页,与...

php生成的html meta和link标记在body标签里 浏览器顶部有个空行的解决方法

1.php中用smarty模板生成的html在浏览器中顶部有一空行.  2.用firedebug发现 meta和link标记在body标签里.  本机上wmap运行没事, 送到远程...

HTML文件基本标记(一)-<head>、<title>、<meta>

<!-- HTML使用

HTML中meta标记详解

元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词。 标签位于文档的头部,不包含任何内容。 标签的属性定义了与文档相关联的名称/值对。 me...

页面的头部标记2(META)

定义编辑工具GENERATOR generator为编辑器定义,value值就是编辑器的名称,例如Notepad,Editplus等等。 设定关键字KEYWORDS keywor...

人工智能标记语言AIML聊天机器人:产生、种类、应用、实例、AIML概述、知识库、公司、业界(20k字经典收藏版)

聊天机器人(chatterbot)是一个用来模拟人类对话或聊天的程序,试图建立程序让真人认为在和另一个人聊天。在NLP/AIML技术加多样性语库支撑下,采用免费人工语言在线计算机实体ALICE人工智能...

3、<meta>标记、标题标记<h1>-<h6>标记及滚动字幕标记<marquee></marquee>

标记的主要作用,是提供网页的元信息。比如:指定网页的搜索关键字。 标记有两个属性:http-equiv和name。http-equiv属性功能:模拟http协议文件头信息,当信息从服务器端传到客户端...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)