网站爬虫 Robots.txt 文件的作用（转）

原文：https://blog.csdn.net/zhouchangshun_666/article/details/81564878 

1）什么是Robots.txt？

Robots.txt是一个文本文件，关键是这个文件所在的位置：在网站的根目录下。弄错了，就不起作用了！

2）Robots.txt如何起作用?

前面提到过搜索引擎的自动提取信息会遵循一定的算法，但是，无论算法如何，第一步都是在寻找这个文件。其含义是，“贵站对我们这些Robots有什么限制？”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应（没有找到这个文件），代表没有什么限制，尽管来抓取吧。如果真的有这个文件，机器人会读来看看，如果自己被拒绝就会停止抓取过程了。

3）怎么写Robots.txt文件？

遵循语法的Robots.txt才可能被机器人识别，至于语法，介绍起来很繁琐，现简单举例如下：

1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）

User-agent: * 

Disallow: /

2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）

User-agent: * 

Disallow:

3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）

User-agent: baiduspider 

Disallow: /

4）允许某个搜索引擎的访问（比如允许百度收录，按如下的方式写）

User-agent: baiduspider

Disallow: 

User-agent: * 

Disallow: /

5）禁止搜索引擎访问某些目录 

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /images/

使用方法：很简单，将代码存为一个文本文件，命名为Robots.txt ，放在网页根目录即可。

注意：所有语句都是单规则的，即每行仅声明一条规则，比如例五中三个目录必须分三行列出来。

更多关于Robots的资料请访问：http://www.robotstxt.org/wc/robots.html

各个搜索引擎的机器人蜘蛛名称：http://kangxiaowei.com/archives/6362.html