爬虫在使用场景中的分类
- 通用爬虫:抓取系统重要组成部分。抓取的是一整张页面数据。
- 聚焦爬虫:是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
- 增量式爬虫:检测网站中数据更新的情况,只会抓取网站中最新更新出来的数据。
反爬机制:门户网站,可以通过制定相应的策略或者技术手段,防止爬虫程序进行网站数据的爬取。
反反爬策略:爬虫程序可以通过制定相关的策略或者技术手段,破解门户网站中具备的反爬机制,从而可以获取门户网站中相关的数据。
robots.txt协议:规定了网站中哪些数据可以被爬虫爬取,哪些数据不可以被爬取。例:(在网址后加上/robots.txt即可查看)
爬虫流程
- 模拟请求网页。模拟浏览器,打开目标网站。
- 获取数据。打开网站之后,就可以自动化的获取我们所需要的网站数据。
- 保存数据。拿到数据之后,需要持久化到本地文件或者数据库等存储设备中。
Rquests库是Python中发起HTTP请求的库。
http和https协议
http协议
— 概念:服务器和客户端进行数据交互的一种新式。
— 常用请求头信息:
- User-Agent:请求载体的身份标识
- Connection:请求完毕后,是断开连接还是保持连接
例:(网页右击选择 检查)
— 常用响应头信息:
Content-Type:服务器响应回客户端的数据类型
https协议:安全的超文本传输协议(http不安全)
加密方式:①对称秘钥加密②非对称秘钥加密③证书秘钥加密