python爬虫学习D.1爬虫简介

robots.txt协议
http协议：服务器与客户端进行数据交互的一种形式。
常用请求头信息：
-User-Agent:请求载体的身份表示
-Connection:请求完毕后，是断开连接还是保持连接

常用响应头信息
-Content-Type：服务器响应回客户端的数据类型

https协议：安全的超文本传输协议（采用证书秘钥加密）
加密方式：
-对称秘钥加密：客户端向服务端发送信息，客户端制定加密方式，再连锁带钥匙一起给服务端，服务端就可以用钥匙打开。
-非对称秘钥加密：服务端制定加密方式，把公钥发送给客户端，客户端以公钥对信息进行加密再发给服务端，服务端就可以用私钥打开。这样就避免了钥匙和锁一起传送的危险。（缺点：效率低；公钥可能被挟持）
- 证书秘钥加密：客户端把公钥交给证书认证机构，证书认证机构签名后发给客户端，客户端确认了机构证书签名后再加密，发给服务端。