HTTPS安全相关-通信安全的四个特性-ssl/tls

230-TLS是什么

1.http不安全

由于 HTTP 天生“明文”的特点,整个传输过程完全透明,任何人都能够在链路中截获、修改或者伪造请求 / 响应报文,数据不具有可信性 ;

“代理服务”。它作为 HTTP 通信的中间人,在数据上下行的时候可以添加或删除部分头字段,也可以使用黑白名单过滤 body 里的关键字,甚至直接发送虚假的请求、响应,而浏览器和源服务器都没有办法判断报文的真伪 。

这对于网络购物、网上银行、证券交易等需要高度信任的应用场景来说是非常致命的。如果没有基本的安全保护,使用互联网进行各种电子商务、电子政务就根本无从谈起

对于安全性要求不那么高的新闻、视频、搜索等网站来说,由于互联网上的恶意用户、恶意代理越来越多,也很容易遭到“流量劫持”的攻击,在页面里强行嵌入广告,或者分流用户,导致各种利益损失

对于你我这样的普通网民来说,HTTP 不安全的隐患就更大了,上网的记录会被轻易截获,网站是否真实也无法验证,黑客可以伪装成银行网站,盗取真实姓名、密码、银行卡等敏感信息,威胁人身安全和财产安全

2、安全的实现

通常认为,如果通信过程具备了四个特性,就可以认为是“安全”的,这四个特性是:机密性、完整性,身份认证和不可否认

机密性(Secrecy/Confidentiality)是指对数据的“保密”,只能由可信的人访问,对其他人是不可见的“秘密”,简单来说就是不能让不相关的人看到不该看的东西。

完整性(Integrity,也叫一致性)是指数据在传输过程中没有被窜改,不多也不少,“完完整整”地保持着原状 。

机密性虽然可以让数据成为“秘密”,但不能防止黑客对数据的修改,黑客可以替换数据,调整数据的顺序,或者增加、删除部分数据,破坏通信过程 。

身份认证(Authentication)是指确认对方的真实身份,也就是“证明你真的是你”,保证消息只能发送给可信的人。

如果通信时另一方是假冒的网站,那么数据再保密也没有用,黑客完全可以使用冒充的身份“套”出各种信息,加密和没加密一样

不可否认(Non-repudiation/Undeniable),也叫不可抵赖,意思是不能否认已经发生过的行为,不能“说话不算数”“耍赖皮”。

3、HTTPS的介绍

新的协议名“https”,默认端口号 443

至于其他的什么请求 - 应答模式、报文结构、请求方法、URI、头字段、连接管理等等都完全沿用 HTTP

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9MoeGXqi-1618498415299)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1617727930979.png)]

,HTTPS 凭什么就能做到机密性、完整性这些安全特性呢?

秘密就在于 HTTPS 名字里的“S”,它把 HTTP 下层的传输协议由 TCP/IP 换成了 SSL/TLS,由“HTTP over TCP/IP”变成了“HTTP over SSL/TLS”,让 HTTP 运行在了安全的 SSL/TLS 协议上(可参考第 4 讲和第 5 讲),收发报文不再使用 Socket API,而是调用专门的安全接口。

4、ssl/tls

①SSL/TLS的来历

SSL 即安全套接层(Secure Sockets Layer),在 OSI 模型中处于第 5 层(会话层),由网景公司于 1994 年发明,有 v2 和 v3 两个版本,而 v1 因为有严重的缺陷从未公开过。

SSL 发展到 v3 时已经证明了它自身是一个非常好的安全通信协议,于是互联网工程组 IETF 在 1999 年把它改名为 TLS(传输层安全,Transport Layer Security),正式标准化,版本号从 1.0 重新算起,所以 TLS1.0 实际上就是 SSLv3.1。

到今天 TLS 已经发展出了三个版本,分别是 2006 年的 1.1、2008 年的 1.2 和去年(2018)的 1.3,每个新版本都紧跟密码学的发展和互联网的现状,持续强化安全和性能,已经成为了信息安全领域中的权威标准。

目前应用的最广泛的 TLS 是 1.2,而之前的协议(TLS1.1/1.0、SSLv3/v2)都已经被认为是不安全的,各大浏览器即将在 2020 年左右停止支持,所以接下来的讲解都针对的是 TLS1.2。

②TLS的组成

TLS 由记录协议、握手协议、警告协议、变更密码规范协议、扩展协议等几个子协议组成,综合使用了对称加密、非对称加密、身份认证等许多密码学前沿技术。

浏览器和服务器在使用 TLS 建立连接时需要选择一组恰当的加密算法来实现安全通信,这些算法的组合被称为“密码套件”(cipher suite,也叫加密套件)。

TLS 的密码套件命名非常规范,格式很固定。基本的形式是“密钥交换算法 + 签名算法 + 对称加密算法 + 摘要算法”,比如刚才的密码套件的意思就是:

“握手时使用 ECDHE 算法进行密钥交换,用 RSA 签名和身份认证,握手后的通信使用 AES 对称算法,密钥长度 256 位,分组模式是 GCM,摘要算法 SHA384 用于消息认证和产生随机数。”

5、OpenSSL

①OpenSSL的发展

说到 TLS,就不能不谈到 OpenSSL,它是一个著名的开源密码学程序库和工具包,几乎支持所有公开的加密算法和协议,已经成为了事实上的标准,许多应用软件都会使用它作为底层库来实现 TLS 功能,包括常用的 Web 服务器 Apache、Nginx 等。

OpenSSL 是从另一个开源库 SSLeay 发展出来的,曾经考虑命名为“OpenTLS”,但当时(1998 年)TLS 还未正式确立,而 SSL 早已广为人知,所以最终使用了“OpenSSL”的名字。

OpenSSL 目前有三个主要的分支,1.0.2 和 1.1.0 都将在2019年年底不再维护,最新的长期支持版本是 1.1.1

由于 OpenSSL 是开源的,所以它还有一些代码分支,比如 Google 的 BoringSSL、OpenBSD 的 LibreSSL,这些分支在 OpenSSL 的基础上删除了一些老旧代码,也增加了一些新特性,虽然背后有“大金主”,但离取代 OpenSSL 还差得很远。

小结

  1. 因为 HTTP 是明文传输,所以不安全,容易被黑客窃听或窜改;
  2. 通信安全必须同时具备机密性、完整性,身份认证和不可否认这四个特性;
  3. HTTPS 的语法、语义仍然是 HTTP,但把下层的协议由 TCP/IP 换成了 SSL/TLS;
  4. SSL/TLS 是信息安全领域中的权威标准,采用多种先进的加密技术保证通信安全;
  5. OpenSSL 是著名的开源密码学工具包,是 SSL/TLS 的具体实现。

课下作业

  1. 你能说出 HTTPS 与 HTTP 有哪些区别吗?
  2. 你知道有哪些方法能够实现机密性、完整性等安全特性呢?

课外延伸

==============

240-对称加密与非对称加密

①引入

实现机密性最常用的手段是“加密”(encrypt),就是把消息用某种方式转换成谁也看不懂的乱码,只有掌握特殊“钥匙”的人才能再转换出原始文本。

这里的“钥匙”就叫做“密钥”(key),加密前的消息叫“明文”(plain text/clear text),加密后的乱码叫“密文”(cipher text),使用密钥还原明文的过程叫“解密”(decrypt),是加密的反操作,加密解密的操作过程就是“加密算法”。

由于 HTTPS、TLS 都运行在计算机上,所以“密钥”就是一长串的数字,但约定俗成的度量单位是“位”(bit),而不是“字节”(byte)。比如,说密钥长度是 128,就是 16 字节的二进制串,密钥长度 1024,就是 128 字节的二进制串。

按照密钥的使用方式,对称加密和非对称加密

1、对称加密

“对称加密”很好理解,就是指加密和解密时使用的密钥都是同一个,是“对称”的。只要保证了密钥的安全,那整个通信过程就可以说具有了机密性。

TLS 里有非常多的对称加密算法可供选择,比如 RC4、DES、3DES、AES、ChaCha20 等,但前三种算法都被认为是不安全的,通常都禁止使用,目前常用的只有 AES 和 ChaCha20。

AES 的意思是“高级加密标准”(Advanced Encryption Standard),密钥长度可以是 128、192 或 256。它是 DES 算法的替代者,安全强度很高,性能也很好,而且有的硬件还会做特殊优化,所以非常流行,是应用最广泛的对称加密算法。

ChaCha20 是 Google 设计的另一种加密算法,密钥长度固定为 256 位,纯软件运行性能要超过 AES,曾经在移动客户端上比较流行,但 ARMv8 之后也加入了 AES 硬件优化,所以现在不再具有明显的优势,但仍然算得上是一个不错算法。

1.1、加密分组模式

对称算法还有一个“分组模式”的概念,它可以让算法用固定长度的密钥加密任意长度的明文,把小秘密(即密钥)转化为大秘密(即密文)。

最早有 ECB、CBC、CFB、OFB 等几种分组模式,但都陆续被发现有安全漏洞,所以现在基本都不怎么用了。最新的分组模式被称为 AEAD(Authenticated Encryption with Associated Data),在加密的同时增加了认证的功能,常用的是 GCM、CCM 和 Poly1305。

把上面这些组合起来,就可以得到 TLS 密码套件中定义的对称加密算法。

把上面这些组合起来,就可以得到 TLS 密码套件中定义的对称加密算法。

比如,AES128-GCM,意思是密钥长度为 128 位的 AES 算法,使用的分组模式是 GCM;ChaCha20-Poly1305 的意思是 ChaCha20 算法,使用的分组模式是 Poly1305。

2、非对称加密

对称加密看上去好像完美地实现了机密性,但其中有一个很大的问题:如何把密钥安全地传递给对方,术语叫“密钥交换”。

它有两个密钥,一个叫**“公钥”(public key),一个叫“私钥”(private key)。两个
密钥是不同的,“不对称”,公钥可以公开给任何人使用,而私钥必须严格保密。
公钥和私钥有个特别的
“单向”**性,虽然都可以用来加密解密,但公钥加密后只能用私钥解密,反过来,私钥加密后也只能用公钥解密。
非对称加密可以解决“密钥交换”的问题。网站秘密保管私钥,在网上任意分发公钥,你想
要登录网站只要用公钥加密就行了,密文只能由私钥持有者才能解密。而黑客因为没有私
钥,所以就无法破解密文。

非对称加密算法的设计要比对称算法难得多,在 TLS 里只有很少的几种,比如 DH、
DSA、RSA、ECC 等

RSA 可能是其中最著名的一个,几乎可以说是非对称加密的代名词,它的安全性基于“整
数分解”的数学难题,使用两个超大素数的乘积作为生成密钥的材料,想要从公钥推算出私
钥是非常困难的。
10 年前 RSA 密钥的推荐长度是 1024,但随着计算机运算能力的提高,现在 1024 已经不
安全,普遍认为至少要 2048 位。
ECC(Elliptic Curve Cryptography)是非对称加密里的“后起之秀”,它基于“椭圆曲线
离散对数”的数学难题,使用特定的曲线方程和基点生成公钥和私钥,子算法 ECDHE 用于
密钥交换,ECDSA 用于数字签名。

目前比较常用的两个曲线是 P-256(secp256r1,在 OpenSSL 称为 prime256v1)和
x25519。P-256 是 NIST(美国国家标准技术研究所)和 NSA(美国国家安全局)推荐使
用的曲线,而 x25519 被认为是最安全、最快速的曲线。

RSA 的运算速度是非常慢的,2048 位的加解密大约是 15KB/S(微秒或毫秒级),而 AES128 则是 13MB/S(纳秒级),差了几百倍。

TLS 里使用的混合加密方式,其实说穿了也很简单:

在通信刚开始的时候使用非对称算法,比如 RSA、ECDHE,首先解决密钥交换的问题。

然后用随机数产生对称算法使用的**“会话密钥”(session key)**,再用公钥加密。因为会
话密钥很短,通常只有 16 字节或 32 字节,所以慢一点也无所谓。

对方拿到密文后用私钥解密,取出会话密钥。这样,双方就实现了对称密钥的安全交换,后续就不再使用非对称加密,全都使用对称加密。

小结

  1. 加密算法的核心思想是“把一个小秘密(密钥)转化为一个大秘密(密文消息)”,守
    住了小秘密,也就守住了大秘密;

  2. 对称加密只使用一个密钥,运算速度快,密钥必须保密,无法做到安全的密钥交换,常
    用的有 AES 和 ChaCha20;

  3. 非对称加密使用两个密钥:公钥和私钥,公钥可以任意分发而私钥保密,解决了密钥交
    换问题但速度慢,常用的有 RSA 和 ECC;

  4. 把对称加密和非对称加密结合起来就得到了“又好又快”的混合加密,也就是 TLS 里使
    用的加密方式。

课下作业

  1. 加密算法中“密钥”的名字很形象,你能试着用现实中的锁和钥匙来比喻一下吗?
  2. 在混合加密中用到了公钥加密,因为只能由私钥解密。那么反过来,私钥加密后任何人
    都可以用公钥解密,这有什么用呢?
  3. [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-imKXuxyq-1618498415306)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618418756034.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MD9vWDiS-1618498415308)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618418766692.png)]

============

250-数字签名与证书

1.1、摘要算法

实现完整性的手段主要是摘要算法(Digest Algorithm),也就是常说的散列函数、哈希
函数(Hash Function)。
你可以把摘要算法近似地理解成一种特殊的压缩算法,它能够把任意长度的数据“压缩”成
固定长度、而且独一无二的“摘要”字符串,就好像是给这段数据生成了一个数字“指纹”。
换一个角度,也可以把摘要算法理解成特殊的“单向”加密算法,它只有算法,没有密钥,
加密后的数据无法解密,不能从摘要逆推出原文。

摘要算法实际上是把数据从一个“大空间”映射到了“小空间”,所以就存在“冲
突”(collision,也叫碰撞)的可能性,就如同现实中的指纹一样,可能会有两份不同的原
文对应相同的摘要。好的摘要算法必须能够“抵抗冲突”,让这种可能性尽量地小。

因为摘要算法对输入具有“单向性”和“雪崩效应”,输入的微小不同会导致输出的剧烈变
化,所以也被 TLS 用来生成伪随机数(PRF,pseudo random function)。

你一定在日常工作中听过、或者用过 MD5(Message-Digest 5)、SHA-1(Secure
Hash Algorithm 1),它们就是最常用的两个摘要算法,能够生成 16 字节和 20 字节长度
的数字摘要。但这两个算法的安全强度比较低,不够安全,在 TLS 里已经被禁止使用了

目前 TLS 推荐使用的是 SHA-1 的后继者:SHA-2。
SHA-2 实际上是一系列摘要算法的统称,总共有 6 种,常用的有 SHA224、SHA256、SHA384,分别能够生成 28 字节、32 字节、48 字节的摘要

1.2、完整性

摘要算法保证了“数字摘要”和原文是完全等价的。所以,我们只要在原文后附上它的摘要,就能够保证数据的完整性。

不过摘要算法不具有机密性,如果明文传输,那么黑客可以修改消息后把摘要也一起改了,网站还是鉴别不出完整性。
所以,真正的完整性必须要建立在机密性之上,在混合加密系统里用会话密钥加密消息和摘要,这样黑客无法得知明文,也就没有办法动手脚了。这有个术语,叫哈希消息认证码(HMAC)

1.3、数字签名

加密算法结合摘要算法,我们的通信过程可以说是比较安全了。但这里还有漏洞,就是通信的两个端点(endpoint)。

就像一开始所说的,黑客可以伪装成网站来窃取信息。而反过来,他也可以伪装成你,向网站发送支付、转账等消息,网站没有办法确认你的身份,钱可能就这么被偷走了。

现实生活中,解决身份认证的手段是签名和印章,只要在纸上写下签名或者盖个章,就能够证明这份文件确实是由本人而不是其他人发出的。

这个东西就是非对称加密里的“私钥”,使用私钥再加上摘要算法,就能够实现“数字签名”,同时实现“身份认证”和“不可否认”。

数字签名的原理其实很简单,就是把公钥私钥的用法反过来,之前是公钥加密、私钥解密,现在是私钥加密、公钥解密。

但又因为非对称加密效率太低,所以私钥只加密原文的摘要,这样运算量就小的多,而且得到的数字签名也很小,方便保管和传输。

签名和公钥一样完全公开,任何人都可以获取。但这个签名只有用私钥对应的公钥才能解开,拿到摘要后,再比对原文验证完整性,就可以像签署文件一样证明消息确实是你发的。

刚才的这两个行为也有专用术语,叫做“签名”和“验签”

只要你和网站互相交换公钥,就可以用“签名”和“验签”来确认消息的真实性,因为私钥保密,黑客不能伪造签名,就能够保证通信双方的身份。

1.4、数字证书和 CA

到现在,综合使用对称加密、非对称加密和摘要算法,我们已经实现了安全的四大特性,是
不是已经完美了呢?
不是的,这里还有一个**“公钥的信任”问题**。因为谁都可以发布公钥,我们还缺少防止黑客伪造公钥的手段,也就是说,怎么来判断这个公钥就是你或者某宝的公钥呢?

找一个公认的可信第三方,让它作为“信任的起点,递归的终点”,构建起公钥的信任链。

这个“第三方”就是我们常说的CA(Certificate Authority,证书认证机构)。它就像网络世界里的公安局、教育部、公证中心,具有极高的可信度,由它来给各个公钥签名,用自身的信誉来保证公钥无法伪造,是可信的。

CA 对公钥的签名认证也是有格式的,不是简单地把公钥绑定在持有者身份上就完事了,还要包含序列号、用途、颁发者、有效时间等等,把这些打成一个包再签名,完整地证明公钥关联的各种信息,形成**“数字证书”(Certificate)**

知名的 CA 全世界就那么几家,比如 DigiCert、VeriSign、Entrust、Let’s Encrypt 等,
它们签发的证书分 DV、OV、EV 三种,区别在于可信程度。

DV 是最低的,只是域名级别的可信,背后是谁不知道。EV 是最高的,经过了法律和审计的严格核查,可以证明网站拥有者的身份(在浏览器地址栏会显示出公司的名字,例如(Apple、GitHub 的网站)。

不过,CA 怎么证明自己呢?

这还是信任链的问题。小一点的 CA 可以让大 CA 签名认证,但链条的最后,也就是Root CA,就只能自己证明自己了,这个就叫“自签名证书”(Self-Signed Certificate)或者“根证书”(Root Certificate)。你必须相信,否则整个证书信任链就走不下去了。

有了这个证书体系,操作系统和浏览器都内置了各大 CA 的根证书,上网的时候只要服务器发过来它的证书,就可以验证证书里的签名,顺着证书链(Certificate Chain)一层层地验
证,直到找到根证书,就能够确定证书是可信的,从而里面的公钥也是可信的。

我们的实验环境里使用的证书是“野路子”的自签名证书(在 Linux 上用 OpenSSL 命令行签发),肯定是不会被浏览器所信任的,所以用 Chrome 访问时就会显示成红色,标记为不安全。但你只要把它安装进系统的根证书存储区里,让它作为信任链的根,就不会再有危险警告。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DD1p1PF7-1618498415308)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618419775781.png)]

1.5、证书体系的弱点

证书体系(PKI,Public Key Infrastructure)虽然是目前整个网络世界的安全基础设施,但绝对的安全是不存在的,它也有弱点,还是关键的**“信任”**二字。

如果 CA 失误或者被欺骗,签发了错误的证书,虽然证书是真的,可它代表的网站却是假的。
还有一种更危险的情况,CA 被黑客攻陷,或者 CA 有恶意,因为它(即根证书)是信任的源头,整个信任链里的所有证书也就都不可信了。

这两种事情并不是“耸人听闻”,都曾经实际出现过。所以,需要再给证书体系打上一些补丁。

针对第一种,开发出了 CRL(证书吊销列表,Certificate revocation list)和 OCSP(在线证书状态协议,Online Certificate Status Protocol),及时废止有问题的证书。

对于第二种,因为涉及的证书太多,就只能操作系统或者浏览器从根上“下狠手”了,撤销对 CA 的信任,列入“黑名单”,这样它颁发的所有证书就都会被认为是不安全的。

小结

今天的内容可以简单概括为四点:

  1. 摘要算法用来实现完整性,能够为数据生成独一无二的“指纹”,常用的算法是 SHA-
    2;
  2. 数字签名是私钥对摘要的加密,可以由公钥解密后验证,实现身份认证和不可否认;
  3. 公钥的分发需要使用数字证书,必须由 CA 的信任链来验证,否则就是不可信的;
  4. 作为信任链的源头 CA 有时也会不可信,解决办法有 CRL、OCSP,还有终止信任。

课后作业

1、为什么公钥能够建立信任链,用对称加密算法里的对称密钥行不行呢?
2. 假设有一个三级的证书体系(Root CA=> 一级 CA=> 二级 CA),你能详细解释一下证书信任链的验证过程吗?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ridWyP1q-1618498415309)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420004619.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6aohSf4L-1618498415310)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420018197.png)]

=====

260-TLS1.2连接过程解析

1.1HTTPS建立连接

浏览器首先要从 URI 里提取出协议名和域名。因为
协议名是“https”,所以浏览器就知道了端口号是默认的 443,它再用 DNS 解析域名,得到目标的 IP 地址,然后就可以使用三次握手与网站建立 TCP 连接了。

在 HTTP 协议里,建立连接后,浏览器会立即发送请求报文。但现在是 HTTPS 协议,它需要再用另外一个“握手”过程,在 TCP 上建立安全连接,之后才是收发 HTTP 报文。
这个“握手”过程与 TCP 有些类似,是 HTTPS 和 TLS 协议里最重要、最核心的部分,懂了它,你就可以自豪地说自己“掌握了HTTPS”。

1.2、TLS 协议的组成

TLS 包含几个子协议,你也可以理解为它是由几个不同职责的模块组成,比较常用的有记录协议、警报协议、握手协议、变更密码规范协议等。

记录协议(Record Protocol)规定了 TLS 收发数据的基本单位:记录(record)。它有点像是 TCP 里的 segment,所有的其他子协议都需要通过记录协议发出。但多个记录数据可以在一个 TCP 包里一次性发出,也并不需要像 TCP 那样返回 ACK。

**警报协议(**Alert Protocol)的职责是向对方发出警报信息,有点像是 HTTP 协议里的状态码。比如,protocol_version 就是不支持旧版本,bad_certificate 就是证书有问题,收到警报后另一方可以选择继续,也可以立即终止连接。

握手协议(Handshake Protocol)是 TLS 里最复杂的子协议,要比 TCP 的 SYN/ACK 复杂的多,浏览器和服务器会在握手过程中协商 TLS 版本号、随机数、密码套件等信息,然后交换证书和密钥参数,最终双方协商得到会话密钥,用于后续的混合加密系统。

最后一个是变更密码规范协议(Change Cipher Spec Protocol),它非常简单,就是一个“通知”,告诉对方,后续的数据都将使用加密保护。那么反过来,在它之前,数据都是明文的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h8QXbNNe-1618498415311)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420469965.png)]

1.3、 抓包的准备工作

TLS 握手的前几个消息都是明文的,能够在 Wireshark 里直接看。但只要出现了“Change Cipher Spec”,后面的数据就都是密文了,看到的也就会是乱码,不知道究竟是什么东西。

为了更好地分析 TLS 握手过程,你可以再对系统和 Wireshark 做一下设置,让浏览器导出握手过程中的秘密信息,这样 Wireshark 就可以把密文解密,还原出明文。

首先,你需要在 Windows 的设置里新增一个系统变量“SSLKEYLOGFILE”,设置浏览器日志文件的路径,如“D:\http_study\www\temp\sslkey.log”(具体的设置过程就不详细说了,可以在设置里搜索“系统变量”)。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vRt1F7cy-1618498415311)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420600327.png)]

设置好之后,过滤器选择“tcp port 443”,就可以抓到实验环境里的所有 HTTPS 数据了。
如果你觉得麻烦也没关系,GitHub 上有抓好的包和相应的日志,用 Wireshark 直接打开就行。

1.4、ECDHE 握手过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r9vI8uZB-1618498415312)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420677147.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-prgZcKWV-1618498415313)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420690904.png)]

在 TCP 建立连接之后,浏览器会首先发一个“Client Hello”消息,也就是跟服务器“打招呼”。里面有客户端的版本号、支持的密码套件,还有一个随机数(ClientRandom),用于后续生成会话密钥。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j8Qo9o0N-1618498415314)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420821516.png)]

这个的意思就是:“我这边有这些这些信息,你看看哪些是能用的,关键的随机数可得留着。”

作为“礼尚往来”,服务器收到“Client Hello”后,会返回一个“Server Hello”消息。把版本号对一下,也给出一个随机数(Server Random),然后从客户端的列表里选一个作为本次通信使用的密码套件,在这里它选择
了“TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oPKUkGFF-1618498415315)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420890500.png)]

这个的意思就是:“版本号对上了,可以加密,你的密码套件挺多,我选一个最合适的吧,
用椭圆曲线加 RSA、AES、SHA384。我也给你一个随机数,你也得留着。”

然后,服务器为了证明自己的身份,就把证书也发给了客户端(Server Certificate)。
接下来是一个关键的操作,因为服务器选择了 ECDHE 算法,所以它会在证书后发送“Server Key Exchange”消息,里面是椭圆曲线的公钥(Server Params),用来实现密钥交换算法,再加上自己的私钥签名认证。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QEcIHZcQ-1618498415316)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618420937023.png)]

这相当于说:“刚才我选的密码套件有点复杂,所以再给你个算法的参数,和刚才的随机数一样有用,别丢了。为了防止别人冒充,我又盖了个章。”

之后是“Server Hello Done”消息,服务器说:“我的信息就是这些,打招呼完毕。”

这样第一个消息往返就结束了(两个 TCP 包),结果是客户端和服务器通过明文共享了三个信息:Client Random、Server Random 和 Server Params。

客户端这时也拿到了服务器的证书,那这个证书是不是真实有效的呢?

这就要用到第 25 讲里的知识了,开始走证书链逐级验证,确认证书的真实性,再用证书公钥验证签名,就确认了服务器的身份:“刚才跟我打招呼的不是骗子,可以接着往下走。”

然后,客户端按照密码套件的要求,也生成一个椭圆曲线的公钥(Client Params),用“Client Key Exchange”消息发给服务器。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dmv3eATE-1618498415317)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421047982.png)]

现在客户端和服务器手里都拿到了密钥交换算法的两个参数**(Client Params、Server Params)**,就用 ECDHE 算法一阵算,算出了一个新的东西,叫“Pre-Master”,其实也是一个随机数。
至于具体的计算原理和过程,因为太复杂就不细说了,但算法可以保证即使黑客截获了之前的参数,也是绝对算不出这个随机数的。
现在客户端和服务器手里有了三个随机数:Client Random、Server Random 和 Pre-Master。用这三个作为原始材料,就可以生成用于加密会 话的主密钥,叫“MasterSecret”。而黑客因为拿不到“Pre-Master”,所以也就得不到主密钥。

为什么非得这么麻烦,非要三个随机数呢?

这就必须说 TLS 的设计者考虑得非常周到了,他们不信任客户端或服务器伪随机数的可靠性,为了保证真正的**“完全随机”“不可预测”**,把三个不可靠的随机数混合起来,那么“随机”的程度就非常高了,足够让黑客难以猜测。

你一定很想知道“Master Secret”究竟是怎么算出来的吧,贴一下 RFC 里的公式:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cduDSBZi-1618498415318)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421177987.png)]

这里的“PRF”就是伪随机数函数,它基于密码套件里的最后一个参数,比如这次的SHA384,通过摘要算法来再一次强化“Master Secret”的随机性。

主密钥有 48 字节,但它也不是最终用于通信的会话密钥,还会再用 PRF 扩展出更多的密钥,比如客户端发送用的会话密钥(client_write_key)、服务器发送用的会话密钥(server_write_key)等等,避免只用一个密钥带来的安全隐患。

有了主密钥和派生的会话密钥,握手就快结束了。客户端发一个“Change Cipher Spec”,然后再发一个“Finished”消息,把之前所有发送的数据做个摘要,再加密一下,让服务器做个验证。

意思就是告诉服务器:“后面都改用对称算法加密通信了啊,用的就是打招呼时说的AES,加密对不对还得你测一下。

服务器也是同样的操作,发“Change Cipher Spec”和“Finished”消息,双方都验证加密解密 OK,握手正式结束,后面就收发被加密的 HTTP 请求和响应了。

1.5、RSA 握手过程

如今主流的 TLS 握手过程,这与传统的握手有两点不同。
第一个,使用 ECDHE 实现密钥交换,而不是 RSA,所以会在服务器端发出“Server KeyExchange”消息。

第二个,因为使用了 ECDHE,客户端可以不用等到服务器发回“Finished”确认握手完毕,立即就发出 HTTP 报文,省去了一个消息往返的时间浪费。这个叫“TLS False Start”,意思就是“抢跑”,和“TCP Fast Open”有点像,都是不等连接完全建立就提
前发应用数据,提高传输的效率。

大体的流程没有变,只是“Pre-Master”不再需要用算法生成,而是客户端直接生成随机数,然后用服务器的公钥加密,通过“Client Key Exchange”消息发给服务器。服务器再用私钥解密,这样双方也实现了共享三个随机数,就可以生成主密钥。

1.6、双向认证

不过上面说的是“单向认证”握手过程,只认证了服务器的身份,而没有认证客户端的身份。这是因为通常单向认证通过后已经建立了安全通信,用账号、密码等简单的手段就能够确认用户的真实身份。

但为了防止账号、密码被盗,有的时候(比如网上银行)还会使用 U 盾给用户颁发客户端证书,实现“双向认证”,这样会更加安全。

双向认证的流程也没有太多变化,只是在“Server Hello Done”之后,“Client Key Exchange”之前,客户端要发送“Client Certificate”消息,服务器收到后也把证书链走一遍,验证客户端的身份。

小结

今天我们学习了 HTTPS/TLS 的握手,内容比较多、比较难,不过记住下面四点就可以。

  1. HTTPS 协议会先与服务器执行 TCP 握手,然后执行 TLS 握手,才能建立安全连接;
  2. 握手的目标是安全地交换对称密钥,需要三个随机数,第三个随机数“Pre-Master”必须加密传输,绝对不能让黑客破解;
  3. “Hello”消息交换随机数,“Key Exchange”消息交换“Pre-Master”;
  4. “Change Cipher Spec”之前传输的都是明文,之后都是对称密钥加密的密文

课后作业

1.密码套件里的那些算法分别在握手过程中起了什么作用?
2. 你能完整地描述一下 RSA 的握手过程吗?

  1. 你能画出双向认证的流程图吗?

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yc82gLH-1618498415318)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421538193.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UkHx2i87-1618498415319)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421548220.png)]

270-TLS1.3特性解析

TLS1.2 已经是 10 年前(2008 年)的“老”协议了,虽然历经考验,但毕竟“岁月
不饶人”,在安全、性能等方面已经跟不上如今的互联网了。
于是经过四年、近 30 个草案的反复打磨,TLS1.3 终于在去年(2018 年)“粉墨登场”,再次确立了信息安全领域的新标准。

TLS1.3 的三个主要改进目标:兼容、安全与性能。

1.1、最大化兼容性

由于 1.1、1.2 等协议已经出现了很多年,很多应用软件、中间代理(官方称
为“MiddleBox”)只认老的记录协议格式,更新改造很困难,甚至是不可行(设备僵化)。

在早期的试验中发现,一旦变更了记录头字段里的版本号,也就是由 0x303(TLS1.2)改为 0x304(TLS1.3)的话,大量的代理服务器、网关都无法正确处理,最终导致 TLS 握手失败。

为了保证这些被广泛部署的“老设备”能够继续使用,避免新协议带来的“冲击”,
TLS1.3 不得不做出妥协,保持现有的记录格式不变,通过“伪装”来实现兼容,使得
TLS1.3 看上去“像是”TLS1.2。

那么,该怎么区分 1.2 和 1.3 呢?
这要用到一个新的扩展协议(Extension Protocol),它有点“补充条款”的意思,通过在记录末尾添加一系列的“扩展字段”来增加新的功能,老版本的 TLS 不认识它可以直接忽
略,这就实现了“后向兼容”。
在记录头的 Version 字段被兼容性“固定”的情况下,只要是 TLS1.3 协议,握手
的**“Hello”消息后面就必须有“supported_versions”扩展**,它标记了 TLS 的版本号,使用它就能区分新旧协议。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s0UyrgRU-1618498415320)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421750005.png)]

TLS1.3 利用扩展实现了许多重要的功能,比
如“supported_groups”“key_share”“signature_algorithms”“server_name”等
,这些等后面用到的时候再说。

1.2、强化安全

TLS1.2 在十来年的应用中获得了许多宝贵的经验,陆续发现了很多的漏洞和加密算法的弱点,所以 TLS1.3 就在协议里修补了这些不安全因素。

比如:
伪随机数函数由 PRF 升级为 HKDF(HMAC-based Extract-and-Expand Key
Derivation Function);
明确禁止在记录协议里使用压缩;
废除了 RC4、DES 对称加密算法;
废除了 ECB、CBC 等传统分组模式;
废除了 MD5、SHA1、SHA-224 摘要算法;
废除了 RSA、DH 密钥交换算法和许多命名曲线。

经过这一番“减肥瘦身”之后,TLS1.3 里只保留了 AES、ChaCha20 对称加密算法,分组模式只能用 AEAD 的 GCM、CCM 和 Poly1305,摘要算法只能用 SHA256、SHA384,密钥交换算法只有 ECDHE 和 DHE,椭圆曲线也被“砍”到只剩 P-256 和 x25519 等 5种。

减肥可以让人变得更轻巧灵活,TLS 也是这样。

算法精简后带来了一个意料之中的好处:原来众多的算法、参数组合导致密码套件非常复杂,难以选择,而现在的 TLS1.3 里只有 5 个套件,无论是客户端还是服务器都不会再犯“选择困难症”了。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fHFvrdof-1618498415320)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618421897072.png)]

这里还要特别说一下废除 RSA 和 DH 密钥交换算法的原因。

上一讲用 Wireshark 抓包时你一定看到了,浏览器默认会使用 ECDHE 而不是 RSA 做密钥交换,这是因为它不具有**“前向安全”(Forward Secrecy)**。

假设有这么一个很有耐心的黑客,一直在长期收集混合加密系统收发的所有报文。如果加密系统使用服务器证书里的 RSA 做密钥交换,一旦私钥泄露或被破解(使用社会工程学或者巨型计算机),那么黑客就能够使用私钥解密出之前所有报文的“Pre-Master”,再算出会话密钥,破解所有密文。

这就是所谓的**“今日截获,明日破解”**。

而 ECDHE 算法在每次握手时都会生成一对临时的公钥和私钥,每次通信的密钥对都是不同的,也就是“一次一密”,即使黑客花大力气破解了这一次的会话密钥,也只是这次通信被攻击,之前的历史消息不会受到影响,仍然是安全的。
所以现在主流的服务器和浏览器在握手阶段都已经不再使用 RSA,改用 ECDHE,而TLS1.3 在协议里明确废除 RSA 和 DH 则在标准层面保证了“前向安全”。

1.3 提升性能

HTTPS 建立连接时除了要做 TCP 握手,还要做 TLS 握手,在 1.2 中会多花两个消息往返(2-RTT),可能导致几十毫秒甚至上百毫秒的延迟,在移动网络中延迟还会更严重。

现在因为密码套件大幅度简化,也就没有必要再像以前那样走复杂的协商流程了。TLS1.3压缩了以前的“Hello”协商过程,删除了“Key Exchange”消息,把握手时间减少到了“1-RTT”,效率提高了一倍。

那么它是怎么做的呢?

其实具体的做法还是利用了扩展。客户端在“Client Hello”消息里直接
用“supported_groups”带上支持的曲线,比如 P-256、x25519,用“key_share”带
上曲线对应的客户端公钥参数,用“signature_algorithms”带上签名算法。

服务器收到后在这些扩展里选定一个曲线和参数,再用“key_share”扩展返回服务器这边的公钥参数,就实现了双方的密钥交换,后面的流程就和 1.2 基本一样了。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AbBRUQ2R-1618498415321)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422061150.png)]

1.3 握手分析

目前 Nginx 等 Web 服务器都能够很好地支持 TLS1.3,但要求底层的 OpenSSL 必须是1.1.1,而我们实验环境里用的 OpenSSL 是 1.1.0,所以暂时无法直接测试 TLS1.3。

注意“Client Hello”里的扩展**,“supported_versions”表示这是
TLS1.3,
“supported_groups”是支持的曲线,“key_share”**是曲线对应的参数。

这就好像是说:

“还是照老规矩打招呼,这边有这些这些信息。但我猜你可能会升级,所以再多给你一些东西,也许后面用的上,咱们有话尽量一口气说完。”

服务器收到“Client Hello”同样返回“Server Hello”消息,还是要给出一个随机数
(Server Random)和选定密码套件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tUZQzTKa-1618498415322)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422201970.png)]

表面上看和 TLS1.2 是一样的,重点是后面的扩展。“supported_versions”里确认使用的是 TLS1.3,然后在“key_share”扩展带上曲线和对应的公钥参数。

服务器的“Hello”消息大概是这个意思:
“还真让你给猜对了,虽然还是按老规矩打招呼,但咱们来个‘旧瓶装新酒’。刚才你给的我都用上了,我再给几个你缺的参数,这次加密就这么定了。”

这时只交换了两条消息,客户端和服务器就拿到了**四个共享信息:Client Random和Server Random、Client Params和Server Params,**两边就可以各自用 ECDHE 算出“Pre-Master”,再用 HKDF 生成主密钥“Master Secret”,效率比 TLS1.2 提高了一大截。

在算出主密钥后,服务器立刻发出**“Change Cipher Spec”消息**,比 TLS1.2 提早进入加密通信,后面的证书等就都是加密的了,减少了握手时的明文信息泄露。

这里 TLS1.3 还有一个安全强化措施,多了个**“Certificate Verify”消息**,用服务器的私钥把前面的曲线、套件、参数等握手数据加了签名,作用和“Finished”消息差不多。但由于是私钥签名,所以强化了身份认证和和防窜改。

这两个“Hello”消息之后,客户端验证服务器证书,再发“Finished”消息,就正式完成了握手,开始收发 HTTP 报文。

小结

学习了 TLS1.3 的新特性,用抓包研究了它的握手过程,不过 TLS1.3 里的内
容很多,还有一些特性没有谈到,后面会继续讲。

  1. 为了兼容 1.1、1.2 等“老”协议,TLS1.3 会“伪装”成 TLS1.2,新特性在“扩展”里
    实现;
  2. 1.1、1.2 在实践中发现了很多安全隐患,所以 TLS1.3 大幅度删减了加密算法,只保留了ECDHE、AES、ChaCha20、SHA-2 等极少数算法,强化了安全;
  3. TLS1.3 也简化了握手过程,完全握手只需要一个消息往返,提升了性能。

课下作业:

  1. TLS1.3 里的密码套件没有指定密钥交换算法和签名算法,那么在握手的时候会不会有问
    题呢?
  2. 结合上一讲的 RSA 握手过程,解释一下为什么 RSA 密钥交换不具有“前向安全”。
  3. TLS1.3 的握手过程与 TLS1.2 的“False Start”有什么异同?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0MkkxN26-1618498415323)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422380535.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Uq7iUeDY-1618498415324)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422389606.png)]

==========

280-HTTPS的优化

HTTPS 连接大致上可以划分为两个部分,第一个是建立
连接时的非对称加密握手,第二个是握手后的对称加密报文传输。

由于目前流行的 AES、ChaCha20 性能都很好,还有硬件优化,报文传输的性能损耗可以说是非常地小,小到几乎可以忽略不计了。所以,通常所说的“HTTPS 连接慢”指的就是刚开始建立连接的那段时间。

在 TCP 建连之后,正式数据传输之前,HTTPS 比 HTTP 增加了一个 TLS 握手的步骤,这个步骤最长可以花费两个消息往返,也就是 2-RTT。而且在握手消息的网络耗时之外,还会有其他的一些“隐形”消耗,比如:

产生用于密钥交换的临时公私钥对(ECDHE);
验证证书时访问 CA 获取 CRL 或者 OCSP;
非对称加密解密处理“Pre-Master”。

在最差的情况下,也就是不做任何的优化措施,HTTPS 建立连接可能会比 HTTP 慢上几百毫秒甚至几秒,这其中既有网络耗时,也有计算耗时,就会让人产生“打开一个 HTTPS 网站好慢啊”的感觉。

不过刚才说的情况早就是“过去时”了,现在已经有了很多行之有效的 HTTPS 优化手段,运用得好可以把连接的额外耗时降低到几十毫秒甚至是“零”。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s8pxgOyv-1618498415324)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422564136.png)]

1.1、 硬件优化

在计算机世界里的“优化”可以分成“硬件优化”和“软件优化”两种方式,先来看看有哪
些硬件的手段。

HTTPS 连接是计算密集型,而不是 I/O 密集型。所以,如果你花大价钱去买网卡、带宽、SSD 存储就是“南辕北辙”了,起不到优化的效果。

那该用什么样的硬件来做优化呢?

首先,你可以选择更快的 CPU,最好还内建 AES 优化,这样即可以加速握手,也可以加速传输。

其次,你可以选择“SSL 加速卡”,加解密时调用它的 API,让专门的硬件来做非对称加解密,分担 CPU 的计算压力。

不过“SSL 加速卡”也有一些缺点,比如升级慢、支持算法有限,不能灵活定制解决方案等。

所以,就出现了第三种硬件加速方式:“SSL 加速服务器”,用专门的服务器集群来彻底“卸载”TLS 握手时的加密解密计算,性能自然要比单纯的“加速卡”要强大的多。

1.2、软件优化

软件优化的方式相对来说更可行一些,性价比高,能够“少花钱,多办事”。
软件方面的优化还可以再分成两部分:一个是软件升级,一个是协议优化

软件升级实施起来比较简单,就是把现在正在使用的软件尽量升级到最新版本,比如把Linux 内核由 2.x 升级到 4.x,把 Nginx 由 1.6 升级到 1.16,把 OpenSSL 由 1.0.1 升级到1.1.0/1.1.1。

由于这些软件在更新版本的时候都会做性能优化、修复错误,只要运维能够主动配合,这种软件优化是最容易做的,也是最容易达成优化效果的。

但对于很多大中型公司来说,硬件升级或软件升级都是个棘手的问题,有成千上万台各种型号的机器遍布各个机房,逐一升级不仅需要大量人手,而且有较高的风险,可能会影响正常的线上服务。

所以,在软硬件升级都不可行的情况下,我们最常用的优化方式就是在现有的环境下挖掘协议自身的潜力。

1.3 协议优化

从刚才的 TLS 握手图中你可以看到影响性能的一些环节,协议优化就要从这些方面着手,先来看看核心的密钥交换过程。

如果有可能,应当尽量采用 TLS1.3,它大幅度简化了握手的过程,完全握手只要 1-RTT,而且更加安全。

如果暂时不能升级到 1.3,只能用 1.2,那么握手时使用的密钥交换协议应当尽量选用椭圆曲线的 ECDHE 算法。它不仅运算速度快,安全性高,还支持“False Start”,能够把握手的消息往返由 2-RTT 减少到 1-RTT,达到与 TLS1.3 类似的效果。
另外,椭圆曲线也要选择高性能的曲线,最好是 x25519,次优选择是 P-256。对称加密算法方面,也可以选用“AES_128_GCM”,它能比“AES_256_GCM”略快一点点。

在 Nginx 里可以用“ssl_ciphers”“ssl_ecdh_curve”等指令配置服务器使用的密码套件
和椭圆曲线,把优先使用的放在前面,例如:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vBB6P12K-1618498415325)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618422851316.png)]

1.4 证书优化

除了密钥交换,握手过程中的证书验证也是一个比较耗时的操作,服务器需要把自己的证书链全发给客户端,然后客户端接收后再逐一验证。
这里就有两个优化点,一个是证书传输,一个是证书验证

服务器的证书可以选择椭圆曲线(ECDSA)证书而不是 RSA 证书,因为 224 位的 ECC 相当于 2048 位的 RSA,所以椭圆曲线证书的“个头”要比 RSA 小很多,即能够节约带宽也能减少客户端的运算量,可谓“一举两得”。

客户端的证书验证其实是个很复杂的操作,除了要公钥解密验证多个证书签名外,因为证书还有可能会被撤销失效,客户端有时还会再去访问 CA,下载 CRL 或者 OCSP 数据,这又会产生 DNS 查询、建立连接、收发数据等一系列网络通信,增加好几个 RTT。

CRL(Certificate revocation list,证书吊销列表)由 CA 定期发布,里面是所有被撤销信任的证书序号,查询这个列表就可以知道证书是否有效。

但 CRL 因为是“定期”发布,就有“时间窗口”的安全隐患,而且随着吊销证书的增多,列表会越来越大,一个 CRL 经常会上 MB。想象一下,每次需要预先下载几 M 的“无用数据”才能连接网站,实用性实在是太低了。

所以,现在 CRL 基本上不用了,取而代之的是 OCSP(在线证书状态协议,Online Certificate Status Protocol),向 CA 发送查询请求,让 CA 返回证书的有效状态。

但 OCSP 也要多出一次网络请求的消耗,而且还依赖于 CA 服务器,如果 CA 服务器很忙,那响应延迟也是等不起的。

于是又出来了一个“补丁”,叫“OCSP Stapling”(OCSP 装订),它可以让服务器预先访问 CA 获取 OCSP 响应,然后在握手时随着证书一起发给客户端,免去了客户端连接 CA服务器查询的时间。

1.4 会话复用

到这里,我们已经讨论了四种 HTTPS 优化手段(硬件优化、软件优化、协议优化、证书优化),那么,还有没有其他更好的方式呢?

我们再回想一下 HTTPS 建立连接的过程:先是 TCP 三次握手,然后是 TLS 一次握手。这后一次握手的重点是算出主密钥“Master Secret”,而主密钥每次连接都要重新计算,未免有点太浪费了,如果能够把“辛辛苦苦”算出来的主密钥缓存一下“重用”,不就可以免去了握手和计算的成本了吗?

这种做法就叫“会话复用”(TLS session resumption),和 HTTP Cache 一样,也是提高 HTTPS 性能的“大杀器”,被浏览器和服务器广泛应用。

会话复用分两种,第一种叫“Session ID”,就是客户端和服务器首次连接后各自保存一个会话的 ID 号,内存里存储主密钥和其他相关的信息。当客户端再次连接时发一个 ID 过来,服务器就在内存里找,找到就直接用主密钥恢复会话状态,跳过证书验证和密钥交换,只用一个消息往返就可以建立安全通信。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hWYO46pQ-1618498415326)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618423083004.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hDeVUnkj-1618498415327)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618423095145.png)]

通过抓包可以看到,服务器在“ServerHello”消息后直接发送了“Change Cipher
Spec”和“Finished”消息,复用会话完成了握手。

1.4 会话票证

“Session ID”是最早出现的会话复用技术,也是应用最广的,但它也有缺点,服务器必须保存每一个客户端的会话数据,对于拥有百万、千万级别用户的网站来说存储量就成了大问题,加重了服务器的负担。
于是,又出现了第二种“Session Ticket”方案

它有点类似 HTTP 的 Cookie,存储的责任由服务器转移到了客户端,服务器加密会话信息,用“New Session Ticket”消息发给客户端,让客户端保存

重连的时候,客户端使用扩展“session_ticket”发送“Ticket”而不是“Session ID”,
服务器解密后验证有效期,就可以恢复会话,开始加密通信。

不过“Session Ticket”方案需要使用一个固定的密钥文件(ticket_key)来加密 Ticket,为了防止密钥被破解,保证“前向安全”,密钥文件需要定期轮换,比如设置为一小时或者一天。

1.5 预共享密钥

“False Start”“Session ID”“Session Ticket”等方式只能实现 1-RTT,而 TLS1.3 更
进一步实现了**“0-RTT”,原理和“Session Ticket”差不多,但在发送 Ticket 的同时会
带上应用数据(Early Data),免去了 1.2 里的服务器确认步骤,这种方式叫
“Pre-**
shared Key”,简称为“PSK”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mObWW2Zt-1618498415327)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618423280586.png)]

但“PSK”也不是完美的,它为了追求效率而牺牲了一点安全性,容易受到“重放攻
击”(Replay attack)的威胁。黑客可以截获“PSK”的数据,像复读机那样反复向服务器发送。解决的办法是只允许安全的 GET/HEAD 方法(参见第 10 讲),在消息里加入时间戳、“nonce”验证,或者“一次性票证”限制重放。

小结
  1. 可以有多种硬件和软件手段减少网络耗时和计算耗时,让 HTTPS 变得和 HTTP 一样快,最可行的是软件优化;
  2. 应当尽量使用 ECDHE 椭圆曲线密码套件,节约带宽和计算量,还能实现“False Start”;
  3. 服务器端应当开启“OCSP Stapling”功能,避免客户端访问 CA 去验证证书;
  4. 会话复用的效果类似 Cache,前提是客户端必须之前成功建立连接,后面就可以用“Session ID”“Session Ticket”等凭据跳过密钥交换、证书验证等步骤,直接开始加密通信。

课下作业

  1. 你能比较一下“Session ID”“Session Ticket”“PSK”这三种会话复用手段的异同
    吗?

  2. 你觉得哪些优化手段是你在实际工作中能用到的?应该怎样去用?

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eJIzqxV9-1618498415328)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618423348610.png)]

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dr00u5uQ-1618498415328)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618423357164.png)]

==========

290-迁移到HTTPS

1/迁移的必要性

如果你做移动应用开发的话,那么就一定知道,Apple、Android、某信等开发平台在2017 年就相继发出通知,要求所有的应用必须使用 HTTPS 连接,禁止不安全的 HTTP。

在台式机上,主流的浏览器 Chrome、Firefox 等也早就开始“强推”HTTPS,把 HTTP 站点打上“不安全”的标签,给用户以“心理压力”。

Google 等搜索巨头还利用自身的“话语权”优势,降低 HTTP 站点的排名,而给 HTTPS更大的权重,力图让网民只访问到 HTTPS 网站。

这些手段都逐渐“挤压”了纯明文 HTTP 的生存空间,“迁移到 HTTPS”已经不是“要不
要做”的问题,而是“要怎么做”的问题了。HTTPS 的大潮无法阻挡,如果还是死守着HTTP,那么无疑会被冲刷到互联网的角落里。

2、迁移的顾虑

据我观察,阻碍 HTTPS 实施的因素还有一些这样、那样的顾虑,我总结出了三个比较流行的观点:“慢、贵、难”

所谓**“慢”**,是指惯性思维,拿以前的数据来评估 HTTPS 的性能,认为 HTTPS 会增加服务器的成本,增加客户端的时延,影响用户体验。

所谓**“贵”**,主要是指证书申请和维护的成本太高,网站难以承担。

所谓的**“难”**,是指 HTTPS 涉及的知识点太多、太复杂,有一定的技术门槛,不能很快上手。

为了推广 HTTPS,很多云服务厂商都提供了一键申请、价格低廉的证
书,而且还出现了专门颁发免费证书的 CA,其中最著名的就是“Let’s Encrypt”。

3.申请证书

要把网站从 HTTP 切换到 HTTPS,首先要做的就是为网站申请一张证书。

大型网站出于信誉、公司形象的考虑,通常会选择向传统的 CA 申请证书,例如
DigiCert、GlobalSign,而中小型网站完全可以选择使用“Let’s Encrypt”这样的免费证书,效果也完全不输于那些收费的证书。

**“Let’s Encrypt”**一直在推动证书的自动化部署,为此还实现了专门的 ACME 协议
(RFC8555)。有很多的客户端软件可以完成申请、验证、下载、更新的“一条龙”操作,比如 Certbot、acme.sh 等等,都可以在“Let’s Encrypt”网站上找到,用法很简单,相关的文档也很详细,几分钟就能完成申请,所以我在这里就不细说了。

不过我必须提醒你几个注意事项。
第一,申请证书时应当同时申请 RSA 和 ECDSA 两种证书,在 Nginx 里配置成双证书验证,这样服务器可以自动选择快速的椭圆曲线证书,同时也兼容只支持 RSA 的客户端。

第二,如果申请 RSA 证书,私钥至少要 2048 位,摘要算法应该选用 SHA-2,例如SHA256、SHA384 等。

第三,出于安全的考虑,“Let’s Encrypt”证书的有效期很短,只有 90 天,时间一到就会过期失效,所以必须要定期更新。你可以在 crontab 里加个每周或每月任务,发送更新请求,不过很多 ACME 客户端会自动添加这样的定期任务,完全不用你操心。

4.配置HTTPS

定了证书,接下来就是配置 Web 服务器,在 443 端口上开启 HTTPS 服务了。
这在 Nginx 上非常简单,只要在“listen”指令后面加上参数“ssl”,再配上刚才的证书文件就可以实现最基本的 HTTPS。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-97voIkn4-1618498415329)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449334322.png)]

为了提高 HTTPS 的安全系数和性能,你还可以强制 Nginx 只支持 TLS1.2 以上的协议,打开“Session Ticket”会话复用。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yuQaJGnb-1618498415329)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449359504.png)]

密码套件的选择方面,我给你的建议是以服务器的套件优先。这样可以避免恶意客户端故意选择较弱的套件、降低安全等级,然后密码套件向 TLS1.3“看齐”,只使用 ECDHE、AES和 ChaCha20,支持“False Start”。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sbnk4zzw-1618498415330)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449383133.png)]

如果你的服务器上使用了 OpenSSL 的分支 BorringSSL,那么还可以使用一个特殊的“等价密码组”(Equal preference cipher groups)特性,它可以让服务器配置一组“等价”的密码套件,在这些套件里允许客户端优先选择,比如这么配置:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3nh7JVw8-1618498415331)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449411916.png)]

如果客户端硬件没有 AES 优化,服务器就会顺着客户端的意思,优先选择与 AES“等价”的 ChaCha20 算法,让客户端能够快一点。
全部配置完成后,你可以访问“SSLLabs”网站https://www.ssllabs.com/,测试网站的安全程度,它会模拟多种客户端发起测试,打出一个综合的评分。

5.服务器名称指示

配置 HTTPS 服务时还有一个“虚拟主机”的问题需要解决。
在 HTTP 协议里,多个域名可以同时在一个 IP 地址上运行,这就是“虚拟主机”,Web
服务器会使用请求头里的 Host 字段(参见第 9 讲)来选择。

但在 HTTPS 里,因为请求头只有在 TLS 握手之后才能发送,在握手时就必须选择“虚拟主机”对应的证书,TLS 无法得知域名的信息,就只能用 IP 地址来区分。所以,最早的时候每个 HTTPS 域名必须使用独立的 IP 地址,非常不方便。

那么怎么解决这个问题呢?

这还是得用到 TLS 的“扩展”,给协议加个SNI(Server Name Indication)的“补充条款”。它的作用和 Host 字段差不多,客户端会在“Client Hello”时带上域名信息,这样服务器就可以根据名字而不是 IP 地址来选择证书。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-58sSZx3z-1618498415332)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449625440.png)]

Nginx 很早就基于 SNI 特性支持了 HTTPS 的虚拟主机,但在 OpenResty 里可还以编写Lua 脚本,利用 Redis、MySQL 等数据库更灵活快速地加载证书。

6.重定向跳转

现在有了 HTTPS 服务,但原来的 HTTP 站点也不能马上弃用,还是会有很多网民习惯在地址栏里直接敲域名(或者是旧的书签、超链接),默认使用 HTTP 协议访问。

所以,我们就需要用到第 18 讲里的“重定向跳转”技术了,把不安全的 HTTP 网址用 301或 302“重定向”到新的 HTTPS 网站,这在 Nginx 里也很容易做到,使
用“return”或“rewrite”都可以。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mhqgv6Un-1618498415332)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449690347.png)]

但这种方式有两个问题。一个是重定向增加了网络成本,多出了一次请求;另一个是存在安全隐患,重定向的响应可能会被“中间人”窜改,实现“会话劫持”,跳转到恶意网站。

不过有一种叫“HSTS”(HTTP 严格传输安全,HTTP Strict Transport Security)的技术可以消除这种安全隐患。HTTPS 服务器需要在发出的响应头里添加一个“Strict-Transport-Security”的字段,再设定一个有效期,

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Pb7rZa45-1618498415333)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449761842.png)]

这相当于告诉浏览器:我这个网站必须严格使用 HTTPS 协议,在半年之内(182.5 天)都不允许用 HTTP,你以后就自己做转换吧,不要再来麻烦我了。

有了“HSTS”的指示,以后浏览器再访问同样的域名的时候就会自动把 URI 里
的“http”改成“https”,直接访问安全的 HTTPS 网站。这样“中间人”就失去了攻击
的机会,而且对于客户端来说也免去了一次跳转,加快了连接速度。

如果在实验环境的配置文件里用“add_header”指令添加“HSTS”字段:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NF0hcp4O-1618498415334)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618449822810.png)]

那么 Chrome 浏览器只会在第一次连接时使用 HTTP 协议,之后就会都走 HTTPS 协议。

小结

今天我介绍了一些 HTTPS 迁移的技术要点,掌握了它们你就可以搭建出一个完整的HTTPS 站点了。
但想要实现大型网站的“全站 HTTPS”还是需要有很多的细枝末节的工作要做,比如使用CSP(Content Security Policy)的各种指令和标签来配置安全策略,使用反向代理来集中“卸载”SSL,话题太大,以后有机会再细谈吧。

  1. 从 HTTP 迁移到 HTTPS 是“大势所趋”,能做就应该尽早做;

  2. 升级 HTTPS 首先要申请数字证书,可以选择免费好用的“Let’s Encrypt”;

  3. 配置 HTTPS 时需要注意选择恰当的 TLS 版本和密码套件,强化安全;

  4. 原有的 HTTP 站点可以保留作为过渡,使用 301 重定向到 HTTPS。

    课下作业

    1. 结合你的实际工作,分析一下迁移 HTTPS 的难点有哪些,应该如何克服?

    2. 参考上一讲,你觉得配置 HTTPS 时还应该加上哪些部分?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zgIzKUL4-1618498415334)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618450394347.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NknMx1dk-1618498415335)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1618450406549.png)]

浏览器:我这个网站必须严格使用 HTTPS 协议,在半年之内(182.5 天)都不允许用 HTTP,你以后就自己做转换吧,不要再来麻烦我了。

有了“HSTS”的指示,以后浏览器再访问同样的域名的时候就会自动把 URI 里
的“http”改成“https”,直接访问安全的 HTTPS 网站。这样“中间人”就失去了攻击
的机会,而且对于客户端来说也免去了一次跳转,加快了连接速度。

如果在实验环境的配置文件里用“add_header”指令添加“HSTS”字段:

[外链图片转存中…(img-NF0hcp4O-1618498415334)]

那么 Chrome 浏览器只会在第一次连接时使用 HTTP 协议,之后就会都走 HTTPS 协议。

小结

今天我介绍了一些 HTTPS 迁移的技术要点,掌握了它们你就可以搭建出一个完整的HTTPS 站点了。
但想要实现大型网站的“全站 HTTPS”还是需要有很多的细枝末节的工作要做,比如使用CSP(Content Security Policy)的各种指令和标签来配置安全策略,使用反向代理来集中“卸载”SSL,话题太大,以后有机会再细谈吧。

  1. 从 HTTP 迁移到 HTTPS 是“大势所趋”,能做就应该尽早做;

  2. 升级 HTTPS 首先要申请数字证书,可以选择免费好用的“Let’s Encrypt”;

  3. 配置 HTTPS 时需要注意选择恰当的 TLS 版本和密码套件,强化安全;

  4. 原有的 HTTP 站点可以保留作为过渡,使用 301 重定向到 HTTPS。

    课下作业

    1. 结合你的实际工作,分析一下迁移 HTTPS 的难点有哪些,应该如何克服?

    2. 参考上一讲,你觉得配置 HTTPS 时还应该加上哪些部分?

[外链图片转存中…(img-zgIzKUL4-1618498415334)]

[外链图片转存中…(img-NknMx1dk-1618498415335)]

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值