学习笔记 爬虫篇：http，https和数据加密

一、http和https

1.1.概念

http协议：超文本传输协议，www服务器和客户端交互的一种形式。

https协议：安全超文本传输协议，其作用分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。

由于http是以明文传输数据，所以有很大的风险被截取得到原数据，存在着很大的安全缺陷。为了保证数据能安全传输，网景公司设计了 SSL(Secure Sockets Layer) 协议用于对 http 传输的数据进行加密，从而就诞生了https。

1.2.二者之间的区别

1. http协议以明文方式发送内容，不提供任何的数据加密，容易泄露其数据内容，存在安全隐患。https则在http通信的基础上通过SSL/TLS协议进行加密传输，这种加密方式可以保护数据在传输过程中的安全，防止数据被窃取或篡改。
2. https需要使用CA（证书颁发机构）颁发的证书来进行加密和解密操作，而http则不需要证书。
3. http和https使用的端口号不同。http通常使用80端口，而https则使用443端口。
4. 由于https使用了加密和解密操作，因此在数据传输过程中需要消耗更多的计算资源。相比之下，http的资源消耗较小。

二、常见的加密方式

2.1.对称性密钥加密

对称加密，是指加密和解密都使用相同密钥的方式，常见的对称加密有AES和DES等等。对称性加密的工作原理大致可以理解为：客户端使用密钥加密数据，之后将密文和密钥一同传输给服务端，服务端通过密钥解密得到明文数据。该方式加密方法速度快、加密效率高，并且适合处理大量数据。但是，该加密方式也存在安全隐患，一旦密钥泄露，数据将会被破解，而且服务端无法判断数据是否被篡改。

2.2.非对称加密

非对称加密，加密和解密有各自的密钥，称为公钥（public key）和私钥（private key），公钥对数据进行加密，私钥对数据进行解密，常见的非对称加密有RSA、DSA等等。非对称加密的工作步骤大致如下：

1. A端创建公钥和私钥
2. A端将公钥发送给B端
3. B端使用A端的密钥对数据进行加密
4. B端传输密文给A端
5. A端使用私钥解密得到明文数据

非对称加密相比于对称加密安全性更高，但相对于效率会更慢，适用于少量的数据加密。当然，非对称加密也有缺点，其中之一就是在A端将公钥发送给B端的途中公钥有可能被劫持并且被篡改，导致无法保证B端收到的公钥就是A端的发行原生公钥。这时就引出了公钥认证机制（https就是采用了ssl证书认证公钥）。简单的说，公钥认证就是为了证明公钥拥有者的身份，保证公钥的唯一性和真实性。数字证书认证机构是客户端与服务器都可信赖的第三方机构。证书的具体传播过程如下:

1. 服务器的开发者携带公开密钥，向数字证书认证机构提出公开密钥的申请，数字证书认证机构在认清申请者的身份审核通过以后，会对开发者申请的公开密钥做数字签名，然后分配这个已签名的公开密钥，并将密钥放在证书里面绑定在一起。
2. 服务器将这份数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公O钥的真伪，来确保服务器传过来的公开密钥是真实的。一般情况下，证书的数字签名是很难被伪造的，这取决于认证机构的公信力。一旦确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务器接收到以后用自己的私钥进行解密。

 

2.3. 消息摘要算法

消息摘要算法的主要特征是不需要密钥加密，而且经过加密的数据无法被解密。常见的消息摘要算法有MD系列：MD2,MD3,MD5（很多时候人们使用的是加盐后的MD5算法）和SHA系列：SHA-1,SHA-256,SHA-384,SHA-512。一般来说，消息摘要算法往往应用在数据签名领域。