从0到1：美团端侧CDN容灾解决方案

文章链接：https://mp.weixin.qq.com/s/erOtePoShAl4iOhNk3XAOQ

CDN 因能够有效解决因分布、带宽、服务器性能带来的网络访问延迟等问题，已经成为互联网不可或缺的一部分，也是前端业务严重依赖的服务之一。在实际业务生产中，我们通常会将大量的静态资源如 JS 脚本、CSS 资源、图片、视频、音频等托管至 CDN 服务，以享受其边缘节点缓存对静态资源的加速。但是在享用 CDN 服务带来更好体验的同时，也经常会被 CDN 故障所影响。比如因 CDN 边缘节点异常，CDN 域名封禁等导致页面白屏、排版错乱、图片加载失败。

每一次的 CDN 故障，业务方往往束手无策，只能寄希望于 CDN 团队。而 CDN 的监控与问题排查，对 SRE 也是巨大的难题和挑战。一方面，由于 CDN 节点的分布广泛，边缘节点的监控就异常困难。另一方面，各业务汇聚得到的 CDN 监控大盘，极大程度上隐匿了细节。小流量业务、定点区域的 CDN 异常往往会被淹没。SRE 团队也做了很多努力，设计了多种方案来降低 CDN 异常对业务的影响，也取得了一定的效果，但始终有几个问题无法很好解决：

• 时效性：当 CDN 出现问题时，SRE 会手动进行 CDN 切换，因为需要人为操作，响应时长就很难保证。另外，切换后故障恢复时间也无法准确保障。
• 有效性：切换至备份 CDN 后，备份 CDN 的可用性无法验证，另外因为 Local DNS 缓存，无法解决域名劫持和跨网访问等问题。

域名劫持是互联网攻击的一种方式，通过攻击域名解析服务器（DNS），或伪造域名解析服务器（DNS）的方法，把目标网站域名解析到错误的IP地址从而实现用户无法访问目标网站的目的或者蓄意或恶意要求用户访问指定IP地址（网站）的目的。

• 精准性：CDN 的切换都是大范围的变更，无法针对某一区域或者某一项目单独进行。
• 风险性：切换至备份 CDN 之后可能会导致回源，流量剧增拖垮源站，从而引发更大的风险。

当前，美团外卖业务每天服务上亿人次，即使再小的问题在巨大的流量面前，也会被放大成大问题。外卖的动态化架构，70%的业务资源都依赖于 CDN，所以 CDN 的可用性严重影响着外卖业务。如何更有效的进行 CDN 容灾，降低 CDN 异常对业务的影响，是我们不断思考的问题。

既然以上问题 SRE 侧无法完美地解决，端侧是不是可以进行一些尝试呢？比如将 CDN 容灾前置到终端侧。不死鸟（Phoenix） 就是在这样的设想下，通过前端能力建设，不断实践和完善的一套端侧 CDN 容灾方案。该方案不仅能够有效降低 CDN 异常对业务的影响，还能提高 CDN 资源加载成功率，现已服务整个美团多个业务和 App。

核心目标

为降低 CDN 异常对业务的影响，提高业务可用性，同时降低 SRE 同学在 CDN 运维方面的压力，在方案设计之初，我们确定了以下目标：

• 端侧 CDN 域名自动切换：在 CDN 异常时，端侧第一时间感知并自动切换 CDN 域名进行加载重试，减少对人为操作的依赖。
• CDN 域名隔离：CDN 域名与服务厂商在区域维度实现服务隔离且服务等效，保证 CDN 切换重试的有效性。
• 更精准有效的 CDN 监控：建设更细粒度的 CDN 监控，能够按照项目维度实时监控 CDN 可用性，解决 SRE CDN 监控粒度不足，告警滞后等问题。并根据容灾监控对 CDN 容灾策略实施动态调整，减少 SRE 切换 CDN 的频率。
• 域名持续热备：保证每个 CDN 域名的持续预热，避免流量切换时导致回源。

适用场景：适用所有依赖 CDN ，希望降低 CDN 异常对业务影响的端侧场景，包括 Web、SSR Web、Native 等技术场景。

Phoenix 方案

Phoenix 端侧 CDN 容灾方案主要由五部分组成：

• 端侧容灾 SDK：负责端侧资源加载感知，CDN 切换重试，监控上报。
• 动态计算服务：根据端侧 SDK 上报数据，对多组等效域名按照城市、项目、时段等维度定时轮询计算域名可用性，动态调整流量至最优 CDN。同时也是对 CDN 可用性的日常巡检。
• 容灾监控平台：从项目维度和大盘维度提供 CDN 可用性监控和告警，为问题排查提供详细信息。
• CDN 服务：提供完善的 CDN 链路服务，在架构上实现域名隔离，并为业务方提供等效域名服务，保证端侧容灾的有效性。等效域名，就是能够通过相同路径访问到同一资源的域名，比如：cdn1.meituan.net/src/js/test.js 和 cdn2.meituan.net/src/js/test.js 能够返回相同内容，则 cdn1.meituan.net 和 cdn2.meituan.net 互为等效域名。
• 容灾配置平台：对项目容灾域名进行配置管理，监控上报策略管理，并提供 CDN 流量人工干预等措施。

为保证各个端侧容灾效果和监控指标的一致性，我们设计了统一的容灾流程，整体流程如下：

域名劫持原理及实现

域名劫持是互联网攻击的一种方式，通过攻击域名解析服务器（DNS），或伪造域名解析服务器（DNS）的方法，把目标网站域名解析到错误的IP地址从而实现用户无法访问目标网站的目的或者蓄意或恶意要求用户访问指定IP地址（网站）的目的。

1.从输入URL到页面加载发生了什么

总体来说分为以下几个过程:

1.1 DNS解析

1.2 TCP连接

1.3 发送HTTP请求

它主要发生在客户端。发送HTTP请求的过程就是构建HTTP请求报文并通过TCP协议中发送到服务器指定端口(HTTP协议80/8080,HTTPS协议443)。HTTP请求报文是由三部分组成：请求行,请求报头和请求正文。

1.4 服务器处理请求并返回HTTP报文

后端从在固定的端口接收到TCP报文开始，这一部分对应于编程语言中的socket。它会对TCP连接进行处理，对HTTP协议进行解析，并按照报文格式进一步封装成HTTPRequest对象，供上层使用。这一部分工作一般是由Web服务器去进行，HTTP响应报文也是由三部分组成:状态码,响应报头和响应报文。

1.5 浏览器解析渲染页面

浏览器是一个边解析边渲染的过程。首先浏览器解析HTML文件构建DOM树，然后解析CSS文件构建渲染树，等到渲染树构建完成后，浏览器开始布局渲染树并将其绘制到屏幕上。

1.6 连接结束

2. dns劫持

当用户输入一个URL时，想要能够访问我们的路由器管理界面首先就需要将改URL的DNS解析到路由器的web服务器地址上，这时候，我们需要dns劫持。Dns劫持中主要用到一个开源的软件-dnsmasq。

首先我们利用dnsmasq将自己的工作站配置为一个能够解析开发域名的server，解析的ip地址设置为工作站的ip地址。利用dnsmasq建立了一个dnsmapping table，将www.baidu.com的域名解析为路由器管理界面地址192.168.2.1。这时候，通过www.baidu.com访问时会转跳至192.168.2.1。

回源

什么是回源IP？
您的网站成功接入WAF防护后，访问您网站的所有请求将先流转到WAF实例，经WAF实例过滤后再返回到源站服务器。流量经WAF实例返回源站的操作称为回源。
由于WAF实例的IP数量有限，源站服务器收到的所有请求都来自这些IP，在源站服务器上的安全软件（如安全狗、云锁）看来，这种情况是很可疑的，可能会屏蔽回源IP。因此，在接入WAF防护后，您需要在源站服务器的安全软件上设置放行所有WAF回源IP。

什么是回源域名？
回源域名一般是cdn领域的专业术语，通常情况下，是直接用ip进行回源的，但是如果客户源站有多个ip，并且ip地址会经常变化，对于cdn厂商来说，为了避免经常更改配置（回源ip），会采用回源域名方式进行回源，这样即使源站的ip变化了，也不影响原有的配置。

什么是回源流量？
当我们业务接入高防IP或者CDN后，所有的访问（正常和攻击）请求会先到高防IP/CDN，经过高防IP清洗后根据正常请求的指向，向客户的服务器发起请求，把流量送到客户的源站服务器，这个流量我们叫回源流量。