robots.txt的常见写法

robots.txt的常见写法

禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /
允许所有的robot访问
User-agent: *
Disallow:
或者你也可以建一个空文件:robots.txt
禁止所有搜索引擎访问网站的几个部分（如下例中的cgi-bin、tmp、private目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
下面是一些著名站点的robots.txt，你也可以参考他们的写法。
http://www.google.com/robots.txt
http://www.ibm.com/robots.txt
http://www.sun.com/robots.txt
http://www.baidu.com/robots.txt

常见搜索引擎Robots名字

Baiduspider http://www.baidu.com
Googlebot http://www.google.com
Scooter http://www.altavista.com
ia_archiver http://www.alexa.com
Inktomi Slurp http://www.yahoo.com
FAST-WebCrawler http://www.alltheweb.com
MSNbot http://search.msn.com