python爬虫的简介

爬虫通俗的概念:通过编写程序，去模拟我们的浏览器,去获取网络之上的相关的数据与信息。

2.爬虫的价值:爬虫的价值在于能够获取网上大量的有价值的信息，加以包装与利用去创造更大的价值。

3.爬虫的原则:不可以妨碍当前网站的正常的运营；不可以去窃取他人受法律保护的信息。

4.爬虫的分类:''通用爬虫"用来爬取网页的一整页数据；”聚焦爬虫”是在“通用爬虫”的基础之上，抓取网页的局部信息的；“增量式爬虫”是用来爬取网站之中最近新增加的信息的。

5.反爬机制:利用技术防止其他人对自己的网站进行抓取的机制。

6.反反爬机制:利用技术与反爬人员进行对抗，对其网站进行爬取。

5.robots.txt:君子协议,各个网站之间规定的可以爬取的数据以及不可以爬取的数据。

6.http协议：i概念：就是服务器与客户端之间一种相互交流的方式；ii常用的请求头信息：-User-Agent请求载体的身份标识，connection请求完毕之后是继续连接还是断开连接；iii常用的响应的头信息：-Content-Type服务器响应回客户端的数据信息；

7.https协议：i概念：安全超文本传输协议（安全的http）；iii常用的加密方式：对称式密钥加密、非对称式密钥加密、证书密钥加密