爬虫实战1：网页了解_Allione_新浪博客

1、Robots 协议：

互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”，这个协议用来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。好的网络爬虫，首先需要遵守Robots协议。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

作者：落寒z

链接：https://www.jianshu.com/p/2a1458eb3c23

来源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。大多数网站都有 Robots 协议，那如何查看网站的 Robots 协议呢 ？

很简单， 在网站的根目录域名后加上/robots.txt就可以了。例如，通过 https://www.taobao.com/robots.txt 这个链接可以查看淘宝的 Robots 协议。