网络爬虫引发的问题
网络爬虫的尺寸
爬取网页 玩转网页
- 小规模,数据量小
- 爬取速度不敏感
- Requests库
爬取网站 爬取系列网站
- 中规模,数据规模较大
- 爬取速度敏感
- Scrapy库
爬取全网
- 大规模,搜索引擎
- 爬取速度关键
- 定制开发
网络爬虫的“性能骚扰”
Wed服务器默认接收人类访问
受限于编写水平和目的,网络爬虫将会为Wed服务器带来巨大的资源开销
网络爬虫的法律风险
服务器上的数据有产权归属
网络爬虫获取数据后牟利将带来法律风险
网络爬虫的隐私泄露
网络爬虫可能具备突破简单访问控制的能力,获得被保护数据而泄露个人隐私
网络爬虫引发的问题
性能骚扰
法律风险
隐私泄露
网络爬虫的限制
来源审查:判断User—Agent进行限制
检查来访HTTP协议头的User—Agent域,只响应浏览器或好友爬虫的访问
发布公告:Robots协议
告知所有爬虫网站的爬取策略,要求爬虫遵守
Robots协议
Robots Exclusion Standard,网络爬虫排除标准
作用:
网站告知网络爬虫哪些页面可以爬取,哪些不行
形式:
在网站根目录下的robots.txt文件
案例:京东的Robots协议
http://www.jd.com/robots.txt
Robots协议的遵守方式
Robots协议的使用
网络爬虫:
自动或人工识别robots.txt,再进行内容爬取
约束性:
Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险
对Robots协议的理解
爬取网页 玩转网页
访问量很小:可以遵守
访问量很大:建议遵守
爬取网站 爬取系列网站
非商业且偶尔:建议遵守
商业利益:必须遵守
爬取全网
必须遵守
原则:类人行为可不参考Robots协议