HTTP是基于TCP/IP的协议,中间没有任何安全传输相关的模块。为此,HTTPS在中间引入了一个传输级的密码安全层,该层可以使用安全套接层
Secure Sockets Layer(SSL),也可以使用其后继者:传输层安全
Transport Layer Security(TLS)。
HTTPS = HTTP + SSL or TLS
加入这层之后,**收发报文也就不再是使用Socket API,而是调用了安全层提供的安全API。**在使用HTTPS时无需过多的修改协议处理逻辑。
为此,如果我们弄清楚这个SSL/TLS,就理解了HTTPS的精华所在了。
5.2、SSL/TLS发展历史
为了保证安全性,SSL/TLS在不断的迭代升级版本,引入了更加安全的算法套件。下面是大致的升级过程:
在1999年,SSL 3.0升级为TLS 1.0,写入到RFC 2246标准中。
不过由于安全问题,TLS 1.1及其以下版本都将作废,不再维护,目前主要在用的是TLS 1.2和TLS 1.3。
OpenSSL是开源版本的实现,目前急需在维护的是OpenSSL 1.1.1版本。
5.3、TLS详解
浏览器和服务器通信之前,会先协商,选出他们都支持的加密套件
,用于实现安全的通信。
常见的加密套件可以参考 161 Cipher Suites[1]。
我们选一个来看看加密套件的命名格式:
如最后一个组合,意味着:
- ECDHE: 握手时,使用ECDHE算法交换密钥;
- ECDSA: 使用ECDSA算法进行签名;
- AES128-GCM: 使用AES256对称加密算法进行通信,密钥长度128,分组模式GCM;
- SHA256: 使用SHA256算法进行消息的完整性验证和产生随机数。
5.3.1、为什么需要用到这么多算法?
以密码学为基础的信息安全包含主要的五个方面:机密性,可用性,完整性,认证性,不可否认性。
为了保证安全,TLS就需要保证这五个特性。简要说明下这个五个特性:
机密性
:保密信息不会透露给非授权的用户或实体;可用性
:指的是加密服务的高可用;完整性
:信息不回被非法篡改,有对应的篡改检测机制;认证性
:参与信息交换的两个主体需要确认对方的身份是否可信,避免信息被不怀好意的人给窃取或者篡改;不可否认性
:指的是用户在事后无法否认曾经进行的信息交换、签发;
每种算法,在TLS中都有其特定的用处,下面先简单介绍各种算法。
5.3.2、对称加密算法
所谓对称加密,就是使用同一个密钥进行加解密。
最常见的就是AES加密算法。
但是对称加密,加解密双方如何安全的传递密钥是一个问题。如果服务器直接把密钥传输给客户端,然后才进行加密通信,可能在传输密钥的过程中,密钥就被窃取了。
5.3.3、非对称加密
非对称加密通常包含一对密钥,称为公钥(public key)和私钥(private key)。
其中一个密钥加密后的数据,只能让另一个密钥进行解密。
使用公钥推算出私钥是非常困难的,但是随着计算机运算能力提升,目前在程序中使用的非对称密钥至少要2048位才能保证安全性。
虽然非对称加密能够保证安全性,但是性能却比对称加密差很多。
为此,在TLS中,实际上用的是用到了两种算法的混合加密。通过非对称加密算法交换对称加密算法的密钥,交换完成之后,在使用对称加密进行加解密传输数据。这样就保证了会话的机密性。
5.3.4、摘要算法
摘要算法主要用于保证信息的完整性,相当于信息的指纹信息。常见的散列函数,哈希函数,MD5算法都属于这类算法,其特点是单向性,无法反推原文。
为了保证安全性,目前TLS推荐使用SHA-2摘要算法,禁止使用MD5和SHA-1。
有了摘要算法就能保证完整性了吗?
假如黑客截取了信息,改动了信息之后,重新生成了摘要,那么,这个时候就判断不出来消息是被篡改过了。
为了避免这类消息发生,我们需要给摘要也通过会话密钥进行加密,这样就看不到摘要明文信息了,能更好的保证信息的安全性了。
可见,离开了机密性,完整性也就无从说起了。
5.3.5、数字签名
到目前为止,我们还有一个问题没有解决,那就是:怎么知道我们要连接的网站不是伪造的呢,如果是伪造的,即使他给了我们他的公钥,也是可以成功进行加解密的,因为他给的公钥给他自己的私钥本身就是一对。
如下图,客户端的请求被中间人截获了,中间人给了客户端自己的公钥,最终客户端把消息发给了中间人,中间人这个时候是可以解密密文拿到原始数据的。然后中间人请求实际的服务器,拿到了实际服务器的公钥,再把消息转发给实际的服务器。这样就窃取了客户端的信息了。
中间人攻击
为了避免拿到假的公钥,所以我们需要一个权威机构帮忙验证这个公钥是不是真的。
通过CA机构生成数字证书
这个时候我们请来了权威的机构,来帮忙我们生成网站公钥的数字证书:
如上图,服务器和CA机构分别有一对密钥,服务器请求CA机构把服务器公钥生成一个数字证书,生成流程:
- CA机构通过摘要算法生成公钥的摘要;
- CA机构通过自己的CA私钥以及特定的签名算法加密摘要,生成签名;
- 把签名、服务器公钥,以及其他基本信息打包放入数字证书中。
最后,CA机构把生成的数字证书返回给服务器。
服务器配置好生成的证书,以后客户端连接服务器,都先把这个证书返回给客户端,让客户端验证并获取服务器的公钥。
服务器公钥验证流程
客户端接收到服务器发送的数字证书和CA机构的公钥,通过CA机构的公钥对数字证书上的签名进行验证。
验证过程:
- 使用CA公钥和声明的签名算法对CA中的签名进行解密,得到服务器公钥的摘要内容;
- 拿到证书里面的服务器公钥,用摘要算法生成摘要内容,与第一步的结果对比,如果一致,则说该证书就是合法的,里面的公钥是正确的,否则证书就是非法的。
谁来保证CA的公钥的正确性?
服务器验证的时候,需要拿到数字证书发布机构的CA公钥,但是怎么证明这个CA公钥是正确的呢?这个时候就需要有更大的CA帮小的CA的公钥做认证了,一层一层的背书,最顶层的CA,Root CA,称为根证书,作为信任链的根,是全球皆知的的极大著名CA,这些根证书一般会内置到操作系统中。
大家可以到操作系统的证书目录下,或者浏览器,看看证书文件里面都有什么内容。
思考题:
- 即使证书验证通过了,这样就能够保证安全了么,想想还有没有其他原因导致请求的网站身份不可信的;
- 有了CA机构,就没法进行中间人攻击了吗?
5.3.6、算法总结
我们来总结一下上面提到的各种算法的作用:
- 签名算法:通过数字证书,和CA公钥,验证获取到的服务器公钥的可靠性,保证了认证性;
- 密钥交换算法 + 对称加密算法:通过交换的密钥,进行加密通信,保证了机密性和不可否认性;
- 摘要算法:保证完整性。
本文首次发表于: HTTPS:网络安全攻坚战 以及公众号 Java架构杂谈,未经许可,不得转载。
5.4、HTTPS连接过程
HTTS连接访问比HTTP多了一步TLS连接:DNS解析,TCP连接、TLS连接。
最关键的就是TLS连接,这里我们重点来分析。
其中TLS连接认证分为单向认证和双向认证:
单向认证 :服务器提供证书,客户端验证服务器证书;
双向认证 :服务器客户端分别提供证书给对方,并互相验证对方的证书。
不过,大多数运行HTTPS的web服务器都不需要客户端提供证书,如果服务器需要验证客户端的身份,一般是通过用户名和密码、手机验证码等之类的凭证来完成。对于更高安全级别要求的系统,如大额网银转账等,则会提供双向认证的场景,来确保对客户身份提供认证性。
早期的TLS密钥交换用的是RSA算法,目前主流都是用ECDHE算法来做密钥交换的。下面我们分别来介绍下。
5.4.1、基于TLS1.2的HTTPS连接过程
5.4.1.1、RSA密钥交换算法
这个过程稍微有点复杂,还是先上图,流程的关键部分都加上了注释,后面详细解释。
如上图:
- 首先是TCP三次握手,握手成功之后,就可以开始通过TCP传输数据了;
- 接下来是TLS握手的流程:
- Client Hello:客户端生成一个Client Random随机数,明文发送给服务器,同时提供自己的 TLS版本号,以及自己支持的加密套件;
- Server Hello:服务器收到之后,也生成了一个Server Random随机数,明文发送给客户端,同时告知自己选择的TLS版本号,以及选择的加密套件;
- Server Certificate:服务器发送自己的证书给到客户端;
- Server Hello Done:提示服务器信息发送完毕;
- 客户端收到证书之后进行证书的校验,确保公钥是合法的;
- Client Key Exchange:客户端生成一个PreMaster随机数,通过服务器的公钥加密传输给服务器;
- 这个时候客户端和服务器都有三个参数:Server Random、Client Random、PreMaster,其中PreMaster是无法被不怀好意的人截获的,通过这三个参数,生成对称密钥;
- 客户端Change Cipher Spec:客户端通知服务器后续改用刚刚生成的密钥进行加密通信;
- 客户端Encrypted Handshake Message:客户端准备用刚刚的参数加密传输,验证加密通信;
- 服务器Change Cipher Spec:服务器也通知客户端后续改用刚刚生成的密钥进行加密通信;
- 服务器Encrypted Handshake Message:服务器准备用刚刚的参数加密传输,验证加密通信;
- 在双方都确认好了之后,最后是验证的消息。
这里的核心是:通过非对称加密交换参数,生成对称通信加密的密钥,其中PreMaster是非对称加密传输的,保证了不会泄露通信加密的密钥。
下面我们再来看看主流的ECDHE密钥交换算法的HTTPS连接过程。
5.4.1.2、ECDHE密钥交换算法
我把与基于RSA算法的连接过程的差异步骤都进行高亮显示了,如下图:
这里我重点说明不一样的地方:
- Server Key Exchange:在服务端发送完证书之后,多了这一步,这个是椭圆曲线参数Server Params,为了保证认证性,这里同时生成了Server Params的签名,一起发给客户端;
给大家的福利
零基础入门
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
同时每个成长路线对应的板块都有配套的视频提供:
因篇幅有限,仅展示部分资料
网络安全面试题
绿盟护网行动
还有大家最喜欢的黑客技术
网络安全源码合集+工具包
所有资料共282G,朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》,可以扫描下方二维码领取(如遇扫码问题,可以在评论区留言领取哦)~
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!