一 爬虫概述
1 什么是爬虫
- 就是通过编写程序,让其模拟浏览器上网,然后在互联网中抓取数据的过程。
- 关键词抽取:
- 模拟:浏览器就是一个纯天然最原始的一个爬虫工具。
- 抓取:
- 抓取一整张的页面源码数据
- 抓取一整张页面中的局部数据
2 爬虫的分类
- 通用爬虫:
- 要求我们爬取一整张页面源码数据
- 聚焦爬虫
- 要求爬取一张页面中的局部的数据
- 聚焦爬虫一定是建立在通用爬虫基础之上。
- 增量式爬虫:
- 用来监测网站数据更新的情况,以便爬取到网站最新更新出来的数据。
- 分布式爬虫:
- 提高爬取效率的终极武器。
3 反爬机制
- 是作用到门户网站中。如果网站不想让爬虫轻易爬取到数据,它可以制定相关的机制或者措施阻止爬虫程序爬取其数据。
4 反反爬机制
- 是作用在爬虫程序中。我们爬虫可以制定相关的策略破击反爬机制从而爬取到相关的数据。
5 第一个反爬机制
- robots协议:防君子不防小人
- 是一个纯文本的协议,协议中规定了该网站中哪些数据可以被哪些爬虫爬取,哪些不可以被爬取。
- 破解:
- 你自己主观性的不遵从该协议即可
例如:打开百度网站,在网址后面加入==/robots.txt==查看规定的哪些可以爬取哪些不可以爬取
打开后的界面如图。disable是不允许爬取的内容
6 爬虫带来的风险
- 爬虫干扰了被访问网站的正常运营
- 爬虫抓取了收到法律保护的特定类型的数据或信息
7 如何避免爬虫进局子
- 时常优化自己的程序,避免干扰被访问的网站的正常运行
- 在使用、传播爬取到的数据时,审查抓取到的内容,如果发现了涉及用户隐私、商业机密等敏感内容需要及时停止爬取和传播
关注专栏查看完整学习过程