爬虫学习笔记之Robots协议相关整理

定义

Robots协议也称作爬虫协议、机器人协议，全名为网络爬虫排除标准，用来告诉爬虫和搜索引擎哪些页面可以爬取、哪些不可以。它通常是一个叫做robots.txt的文本文件，一般放在网站的根目录下。

robots.txt文件的样例

• 对有所爬虫均生效，只能爬取public目录

User-agent:*
Disallow:/
Allow:/public/

• 禁止所有爬虫访问所有目录

User-agent:*
Disallow:/

• 允许所有爬虫访问所有目录

User-agent:*
Disallow:

• 禁止所有爬虫访问网站某些目录也可以写做

User-agent:*
Disallow:/private/
Disallow:/tmp/

• 只允许某一个爬虫访问所有目录

User-agent:WebCrawler
Disallow:
User-agent:*
Disallow:/

一些常见的爬虫名称