爬虫之——Robots协议

Robots协议

（Robots Exclusion Standard：网络爬虫排除标准）

一、介绍

1.作用：网页告知爬虫哪些能爬取，哪些不能

网站限制爬虫的方法：

1. 审查来源；
2. 通过robots协议来告知。

形式*：存储在网站根目录下的robots.txt文件中。

2.Robots协议的基本语法

User-agent: *
Disaloow: /

3.一些Robots协议的链接

• http://www.baidu.com/robots.txt
• http://www.baidu.com/robots.txt
• http://news.sina.com.cn/robots.txt
• http://www.qq.com/robots.txt
• http://news.qq.com/robots.txt

4.注意事项

robots协议一定要放到网站的根目录下！！！如果没有robots文件则该网站允许所有爬虫无限制地访问、爬取其内容。

二、Robots协议的遵守方式

Robots协议的使用

• 网络爬虫：自动或人工识别robot.txt文件再进行内容爬取。

• 约束性：Robots协议是建议但是非约束性，爬虫可以不遵守，但是存在法律风险！

小编有话说：爬虫虽带劲，请记得遵守Robots协议哦。本篇文章为视频https://www.bilibili.com/video/BV1NW411V7CQ?p=10的学习笔记