爬虫
前戏
1.你是否在夜深人静的时候,想看一些会让你更睡不着的图片却苦于没有资源...
2.你是否在节假日出行高峰的时候,想快速抢购火车票成功...
3.你是否在网上购物的时候,想快速且精准的定位到口碑质量最好的商品...
什么是爬虫
通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程。
爬虫在使用场景的分类
通用爬虫
抓取系统的重要的组成部分.
抓取的是一整张页面的数据.
聚焦爬虫
建立在通用爬虫的基础上.
抓取的是页面中特定的局部内容.
整量式爬虫
检测网站的更新情况
只会抓取网站中更新的数据
爬虫的矛与盾
反爬机制
门户网站可以通过制定相应的策略或技术手段,防止爬虫软件进行网站数据的爬取.
反反爬策略
爬虫可以通过制定相关的策略或技术手段,破解门户网站中具有的反爬机制,从而可以获取门户网站中相关的数据.
robots.txt协议
君子协议规定了网站中那些数据可以被爬虫爬取那些数据不可以被爬虫爬取
查看某网站的robots.txt协议:
例如:https://www.baidu.com/robots.txt
即可查看
http协议和https协议
http协议
超文本传输协议;
就是服务器与与客户端进行交互的一种形式;
常用请求头信息
User-Agent: 请求载体的身份标识;
Connection: 请求完毕后是断开连接还是保持连接;
常用相应头信息
Content-Type: 服务器响应回客户端的数据类型;
https协议
安全的超文本传输协议;
证书密钥加密;
加密方法
对称密钥加密;
非对称密钥加密;
证书密钥加密;