网络爬虫基础概念№1

1、爬虫在使用场景中的分类

（1）通用爬虫：抓取系统重要组成部分。爬取的是一整张页面数据

（2）聚焦爬虫：是建立在通用爬虫的基础之上。爬取的是页面中特定的局部内容

（3）增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据

2、反爬

反爬机制：门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取

反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网

3、robots.txt协议

君子协议。明确规定了网站中哪些数据可以被爬虫哪些数据不可以被爬取。

eg：搜索www.taobao.com./robots.txt可以查到到淘宝网站的robots协议

allow里面可以爬取，unallow里面不可以爬取

4、http协议

概念：就是服务器和客户端进行数据 交互的一种形式。

（1）常用请求头信息

User-Agent:请求载体的身份标识

Connection:请求完毕后，是断开连接还是保持连接

（2）常用相应头信息

Content-Type:服务器响应客户端的数据类型

5、https协议

安全的超文本传输协议

（1）加密方式

对称密钥加密。安全隐患：传输过程中被机构拦截

非对称密钥加密。（私钥、公钥）解决了上面安全隐患

证书密钥加密。