python与法律数据抓取_003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道'

[A] 网络爬虫引发的问题

1. 当前网络爬虫根据规模可分为三种：

1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现

2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如爬取网站上航班信息，对于这种爬虫，Python提供的Scrapy库即可满足

3. 大型规模，主要实现全网爬取，数据量特别大，比如百度搜索引擎，谷歌搜索引擎，这种规模的爬虫只能定制开发，第三方库无法满足

2. 网络爬虫引发的问题：

1. 骚扰问题

这是指网络爬虫访问服务器时，相比于人类更加高速和频繁，会增加服务器的负荷

2. 法律问题

这是指服务器上存储的数据是由产权归属的，用于牟利的网络爬虫存在法律风险

3. 隐私泄露问题

这是指网络爬虫具备突破简单访问限制的能力，获得被保护数据从而获得个人隐私内容

3. 目前存在对网络爬虫限制方法

1. 来源审查　　通过判断 User-Agent 进行限制

即检查来访HTTP协议头的 User-Agent 域，只响应浏览器或者友好爬虫的访问

2. 发布公告　　Robots协议

即告诉所有爬虫网站的爬虫策略，要求所有爬虫遵守。

[B] Robots协议

Robots协议全称是 Robots Exclusion Standard 网络爬虫排除标准

作用：网站告知网络爬虫哪些网页可以抓取，哪些不行

形式：在网站根目录下的 robots.txt 文件

如京东网站的robots协议

#获取robots协议：https://www.jd.com/robots.txt

# 注释，*代表所有，/代表根目录

User-Agent:*

Disallow:/

User-agent: *Disallow:/?*Disallow:/pop/*.html

Disallow:/pinpai/*.html?*User-agent: EtaoSpider

Disallow:/User-agent: HuihuiSpider

Disallow:/User-agent: GwdangSpider

Disallow:/User-agent: WochachaSpider

Disallow:/

Robots协议的使用

网络爬虫：能自动或人工识别robots.txt，再进行内容爬取

约束性：Robots协议是建议但是非约束性的，网络爬虫可以不遵守，但存在法律风险