python爬虫基础（1）-- 爬虫基础知识

一、爬虫基础知识

1.1、爬虫分类

● 通用爬虫: 搜索引擎抓取系统重要组成部分，抓取的是一整张 页面数据。

● 聚焦爬虫:建立在通用爬虫的基础之上，抓取的是页面中特定的局部内容。

● 增量式爬虫:检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

1.2、反爬机制

门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

1.3、反反爬策略

爬虫程序可以通过制定相关的策略或者技术手段，破解]户网站中具备的反爬机制，从而可以获取门户网站的信息

1.4、robots. txt协议（君子协议）

规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

https://www.taobao.com/robots.txt（淘宝）

1.5、http协议

概念:就是服务器和客户端进行数据交互的一种形式。

1.5.1、常用请求头信息

-User-Agent:请求载体的身份标识

-Connection:请求完毕后，是断开连接还是保持连接

1.5.2、常用响应头信息

Content-Type:服务器响应回客户端的数据类型

1.5.3、https协议

安全的超文本传输协议

加密方式

对称秘钥加密

非对称秘钥加密

证书秘钥加密