Robots-网络爬虫排除标准协议

Robots Exclusion Standard 网络爬虫排除标准

作用：网站告知爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件

案例：京东的robots协议

https://www.jd.com/robots.txt

Robosts协议的基本语法：
*代表所有
/代表根目录

其他网站的robots协议

robots协议的遵守方方式

网络爬虫：自动或人工识别robots.txt文件，再进行内容爬取
约束性：robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

对robots协议的理解

爬取网页，玩转网页	访问量很小：可以遵守/访问量较大：建议遵守
爬取网页，爬取系列网站	非商业偶尔：建议遵守 /商业利益：必须遵守
爬取全网	必须遵守

类人类行为可不参考robots协议