二、网络爬虫的“盗亦有道”(学习笔记）

二、 网络爬虫的“盗亦有道”(学习笔记）

一、网络爬虫引发的问题

1.网络爬虫的尺寸

2.网络爬虫引发的问题

网络爬虫的骚扰：

对于网站运行者：受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。

网络爬虫的法律风险：

服务器上的数据有产权归属网络爬虫获取数据后牟利将带来法律风险

网络爬虫泄露隐私

网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。

3.网络爬虫的限制

来原审查:

判断User-Agent进行限制

检查来访HTTP协议头的User-Agent域，只响应测览器或友好爬虫的访问。

发布公告:

Robots协议

告知所有爬虫网站的爬取策略，要求爬虫遵守。

二、Robots协议

Robots协议

Robots Exclusion Standard网络爬虫排除标准
作用:网站告知网络爬虫哪些页面可以抓取，哪些不行。