网络爬虫项目开发日志（五）: 爬虫协议初探

--前言--

常在河边走，哪有不湿鞋

有的时候，网络爬取就像串门一样，如果守规矩的话，是需要先打个电话给主人预约一下，或是进门的时候先敲门看看主人是否在家，如果主人允许咱进去，咱再进去，进去后，也不要东摸摸西看看，否则主人是会发飙了，搞不好就会逐客了。

--概念--

网络爬取领域，也是一样的，也有着通用的规范，称之为机器人协议，这是一个面向计算机网络搜索引擎的，以Robots命名的文本文档，一般都会放在网站的根目录下，可以直接访问到的。

--应用模式--

应用模式，此文讨论的主要是围绕ICP（网络内容提供商）和搜索引擎（爬虫程序）之间的双向行为模式。

1)  ICP通过“爬虫协议“排除特定信息显示于搜索结果，即：ICP通过爬虫协议禁止搜索引擎将该网站上部分信息被罗列在搜索结果中，但实际上我们还是可以通过别的方式来访问或获取这些信息的。

2） ICP通过“爬虫协议”排除特定搜索引擎，即：爬虫协议作