[python]爬虫-基础概念

原文链接：这里

1、爬虫分类
通用爬虫：抓取系统重要组成部分。抓取的是一整张页面数据

聚焦爬虫：建立在通用爬虫的基础之上。抓取的是页面中国特定的局部数据

增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新出来的数据。

2.反爬机制
反爬机制：相关门户网站可以制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取

反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中反爬机制，从而获取门户网站中的数据。

robots.txt 协议：君子协议。规定了网站中哪些数据可以被爬取，哪些数据不可以被爬取。

如何打开robots.txt?

网址/robots.txt

3.HTTP协议
http: 服务器和客户端进行数据交互的一种形式。

常用请求头信息：

— User-Agent：请求载体的身份标识

–Connection:请求完毕后，是断开连接还是保持连接

常见响应头信息：

–Content-Type：服务器响应回客户端的数据类型

https: 加了一个s，是security的缩小。简单来说，https比http更加安全。