在百度google输入我的名字,很多不该出现的都出现了,^_^。强烈建议相关的站点管理员好好学学robot 限制协议。
以下内容转自:http://hi.baidu.com/ligang1017/blog/item/55d58bb79949e0f330add12e.html
限制robot访问web站点的方法
robot是帮助搜索引擎搜集网页的一种自动化程序,它在访问一个web站点时,会跟随网页中的链接提取出站点上的大部分内容,并为这些网页建立索引,放在搜索引擎的数据库中。在一些情况下,web管理员或网页的作者出于某种原因的考虑可能并不想让robot提取站点上的某些内容,此时可以使用一些方法来限制robot的访问范围。
限制robot访问web站点的方法共有两种,一种是由站点的web管理员使用的robot限制协议,目前绝大部分robot都遵守该协议,另一种是由网页作者使用的robot meta标记,目前只有一小部分robot支持该标记。
robot限制协议
robot限制协议的关键是在web站点的根目录下放置一个文本文件robot.txt。robot在访问一个站点时会首先去读取该文件,分析其中的内容,并按照web管理员的规定不去访问某些文件。下面是robot.txt的一个例子:
# http://www.yoursite.com/robots.txt
user-agent:
disallow: /tmp/ # these files will soon be deleted
disallow: /test.html
user-agent: infoseek robot 1.0
disallow: /
其中“#”后面的内容是注释,user-agent命令用于指定它下面的disallow命令对何种robot有效,“ ”表示对所有robot都有效,上面例子中第二个user-agent命令表示其下面的disallow命令只对infoseek的1.0版robot有效。disallow命令用于指定哪些目录或文件不能被访问,如果指定了“/”,那么所有文件都不允许访问,disallow命令在一行中只能放一个目录或一个文件,如果有多个目录,则必须分别放在几行中。
上面的robot.txt文件是目前还在使用的早期robot限制协议规定的内容,现在还有一个关于如何限制robot的internet草案正在制定之中,它对早期robot限制协议进行了很多扩充,但还未进入实用阶段。
robot meta标记
绝大多数情况下,网页作者并非web管理员,如果网页作者不想让robot访问自己编写的一些html文件,那么可以请web管理员帮忙在robot.txt中注明,或者使用robot meta标记。
meta标记是html文件中用来放置一些不可见信息的一种标记,它必须放在html文件的head部分中。robot meta标记是一种特殊的meta标记,下面是它的几个例子:
〈meta name=″robots″ content=″index,follow″〉
〈meta name=″robots″ content=″noindex,follow″〉
〈meta name=″robots″ content=″index,nofollow″〉
〈meta name=″robots″ content=″noindex,nofollow″〉
robot meta标记的name部分为“robots”,content部分可以是“index”、“noindex”、“follow”和“nofollow”的组合。“index”表示搜索引擎可以为该html文件建立索引,“follow”表示搜索引擎可以使用该html文件中的链接来访问其它文件,“noindex”和“nofollow”与“index”和“follow”的意义正好相反。在组合使用这几个命令时,不能出现逻辑矛盾,即不能同时指定“index”、“noindex”,或“follow”、“nofollow”。另外,如果要指定“index,follow”,可以使用“all”来代替,如果要指定“noindex”、“nofollow”,可以使用“none”来代替。
使用robot meta标记的缺点是比较麻烦,对每一个html文件都要进行修改,另外,很多robot并不支持该标记。