使用网络爬虫需要知道的准则——robots协议

前言

  因为网络爬虫可从服务器爬取各种内容，所以可能存在涉及个人隐私或商业机密的内容，给使用者和服务器管理者带来不必要的困扰与纠纷，所以需要robots协议来对其进行规范。

正文

  有些企业的服务器设置有对特定爬虫的拦截功能，但并不是所有企业均有能力设置和管理对爬虫进行拦截的功能，所以robots协议便诞生了。

  此协议告知了爬虫爬取该网站时应遵循的准则，并详细说明了何种爬虫禁止爬取何种网页。

  我们可以在相关网站主页后添加/robots.txt来查看该网站的robots协议。

  以新浪新闻和百度robots协议的部分内容为例：

  User-agent后的*代表了以下内容适用于所有种类的爬虫，Disallow后则列出了禁止爬取的内容，如/wap/即为wap页面下的所有内容及其后续内容都禁止爬取（可理解为url链接中出现此字段的内容均禁止爬取）。

  而百度的robots则具体到了特定爬虫，详细列出了Googlebot和MSNBot等爬虫禁止爬取的内容。

  需要知道robots协议只是一种约定而不是必须强制遵守的协议，爬虫使用者也可不遵守此协议的内容而对网页相关内容进行爬取，但由此可能引发法律纠纷等严重的问题。