网络爬虫的有亦有道学习笔记

1,前言

无论做什么，都是有规则的。前面我们已经了解了爬虫，并且尝试着爬取百度页面。今天我们就来看看他的规则是怎样的，应该怎么玩。

2,网络爬虫引发的问题

2.1,网络爬虫的尺寸

有三种尺寸：小、中、大。我们一一了解一下叭。

1. 小规模

   数据量小、爬取速度不敏感，使用Requests库。爬取网页、玩转网页

2. 中规模

   数据规模较大，爬取速度敏感，使用Scrapy库。爬取网站，爬取系列网站

3. 大规模

   搜索引擎，爬取速度关键；定制开发；爬取全网、

看到这里。我们为什么会一开始学习Requests库。

2.2,网络爬虫的“性能骚扰”

Web服务器默认接收人类访问

受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销。

就是说每个人的知识储备不一样，因此代码的质量略有不同。好的代码，会被服务器很快处理，我们也会很快的得到需要的数据。这就如同高速公路，什么时候会堵车，什么时候会通畅。

2.2,网络爬虫的法律风险

• 服务器上的数据有产权归属
• 网络爬虫获取数据后牟利将带来法律风险。

也是因为这一点，所以迟迟没有学习爬虫，这一部分还是要特别注意的

2.3,网络爬虫的隐私泄露

网络爬虫可具备突破简单访问控制能力，获得被保护数据从而泄露个人隐私。

前面说过一个反爬虫机制，应该和这个有关吧。

2.4, 网络爬虫的限制

• 来源审查判断User-Agent进行限制

检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问

• 发布公告：Robots协议

  告知所有爬虫网站的爬虫策略，要求爬虫遵守

所有第一条可以知道我们的行为他们是可以判断出来的，不是说他们不知道的

当然规则这个时候就出来了，应该遵守。

3,Robots协议

这是一个规则，起到约束的作用。

3.1,Robots协议介绍

• 他的全称：Robots Exclusion Standard，网络爬虫排除变准
• 作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
• 形式：在网站根目录下的3,Robots.txt文件

3.2,Robots协议使用

就以京东为例叭

在地址栏输入

https://www.jd.com/robots.txt

会发现：

这段文本应该怎么读呢？

*：代表所有；

/：代表根目录

3.3,Robots协议的遵守方式

• 网络爬虫：自动或 人工识别robots.txt，在进行内容爬取
• 约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。

3.4,Robots协议的理解

可以不遵守，但也是分情景的，就以上面爬虫的尺寸为例

• 爬取网页、玩转网页：
  • 访问量很小：可以遵守
  • 访问量很大：建议遵守
• 爬取网站、爬取系列网站
  • 非商用且偶尔：建议遵守
  • 商业利益：必须遵守
• 爬取全网
  • 必须遵守

人类行为可不参考Robots协议

4,总结

万物都是有规则的，所以这一部分并不是很难理解。当然最难的还是遵守，这种新闻也是有很多，或许有时候是一个别这样

这就是以上内容，我的笔记。

谢谢您的观看，文章有错误，欢迎你的指正；如果对您有帮助，是我的荣幸。