北京理工大学-Python网络爬虫与信息提取学习笔记02

Robo协议

小规模，数据量小，爬取速度不敏感的网页
用Requests库

中规模，数据规模大，爬取速度敏感的网站
用Scrapy库

大规模，搜索引擎，爬取速度关键，爬取全面
定制开发（如搜狗等）

Robots，Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以爬取，哪些不行
形式：在网站根目录下的robots.txt文件
User-angent：* #*代表所有
Disallow：/ #/代表根目录
例如：http://www.baidu.com/robots.txt

Robots协议的使用
网络爬虫：自动或人工识别robots.txt，在进行内容爬取
约束性：Robots协议是建议但非约束性的
ps：学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce