《运维之下》——第十章：传输网建设

在前面我们提到数据中心采用“双中心”+异地备份的模式，这种模式得以应用的前提首先是三点之间互联专线的稳定性和时效性。对于数据中心间带宽的需求，逐渐会大于数据中心外网带宽的需求，数据中心间传输网的容量和稳健显得尤为重要。传输网除了承担多数据中心间数据库同步、日志传输、容灾切换等需求外，还要保证海外数据中心和国内高质量的通信要求，如运维管理、代码发布、部分业务信息同步等。

传输网的建设也是一个逐步发展的过程，首先是从核心网互联需求开始的，然后经历了由核心到周边，由国内到海外的阶段。为实现核心网的互联，首先规划了两个POP点（汇聚中心），各数据中心都通过双路由与POP点联通，形成星型架构，通过建设波分系统来扩大容量，构建出高可用、高容量的传输体系。
CDN业务需求和用户本地化交互业务需求，推动把外地和海外数据中心也纳入到传输体系中。在中国大陆以外，规划中国香港地区为整个海外到国内的中继，同样规划了两个POP点，这个覆盖全球的传输网络骨架就搭建起来了。


传输网雏形
数据中心初期建设时，由于业务规模较小，机柜、带宽等基础资源无法预估，随着业务的快速发展，造成单数据中心基础资源趋于饱和，业务无法进行扩容。另外考虑到单数据中心业务部署可靠性问题，多数据中心之间的数据热备是推动传输网建设的主要因素。开始是简单的专线互联，随着专线越来越多，形成了传输网初期雏形。
传输网建设初期专线带宽量比较小（小于2Gbps），出于维护便利性、低成本因素考虑，专线资源主要依托当前租用机柜服务提供商提供整体解决方案。首先，要求至少提供两条异步路由传输通道保障可靠性；其次，要求提供二层VLAN Tag全透传模式来保障未来业务扩展性（后续增加互联需求时，自行添加SVI互联接口进行路由策略添加即可）。另外，与业务方沟通专线带宽需求，掌握业务系统部署架构，确定专线使用原则，在此阶段尽量减少跨数据中心业务调度，避免业务过度依赖专线。
总结：此阶段传输网处于被动建设，无长远规划，专线资源强依赖第三方服务商。

传输网初期建设
在开始进行第三个数据中心规划时出现了很多问题亟待解决，简要分析主要有以下几个方面。
（1） 数据中心间专线容量扩展性。随着数据中心服务器数量的线性增长（以Hadoop业务增长为代表），跨数据中心日志传输量、DB同步量对跨数据中心之间的专线容量需求上升到10Gbps级别，迫切需要对线路资源进行扩容。但由于初期多数据中心建设时出于安全风险、商务竞争因素考虑，数据中心基础设施机柜资源是由不同供应商提供的，专线出现质量问题时难以划分责任主体，从而需要协调两家乃至多家供应商共同进行故障处理；开通专线和扩容时，需要涉及的供应商应同时具备资源才能进行。在某真实案例中，就曾遭遇过由于其中一家供应商专线资源容量不足，而导致无法进行扩容的问题。
（2） 特殊业务对双运营商专线需求。电商仓储、金融支付类系统需要使用专线与外部第三方公司进行对接，出于可靠性考虑，通常要求采用双运营商线路进行对接，而单运营商数据中心只允许本运营商线路接入，造成在基础设施上难以满足此类业务专线接入需求。
（3） 机柜、带宽资源捆绑限制。在初期数据中心选型过程中，业务需要覆盖多运营商用户，互联网线路覆盖能力是考核供应商非常重要的指标之一，供应商本数据中心提供多运营商线路是首要条件，在这种情况下就造成带宽与机柜强捆绑，只能选择与第三方服务商进行资源合作才能满足多线路接入（一般情况下，单运营商数据中心只提供单线路资源，严格限制其他运营商带宽资源引入数据中心）。而这些第三方供应商提供的所谓多线路资源也是通过各种手段拼凑在一起的，总体来说，风险还是比较高的，在使用过程中可能会经常发生非本数据中心运营商线路故障问题。
为了解决以上存在的各种问题，自建传输网提升日程，至此进入传输网初期规划阶段。通过自建传输网，不仅可以从根本上解决上述问题，而且还会带来诸多额外的技术、成本优化价值。下面就介绍传输网基础架构规划。

传输网物理架构
在传输网设计规划时，在地域上将传输网划分为城域网节点、广域网节点、海外节点，然后根据每种节点类型进行功能划分，这样就能为基于需求使用特定接入方式提供最优的技术和成本方案。 传输节点物理位置的选择直接影响到传输网的可靠性、维护便捷性、未来扩展性。

首先，至少选择两个物理数据中心来保障可靠性，数据中心间距离≥60km，减少光缆接入时同路径路由、区域电力以及灾害等不可抗力因素对传输网的整体影响。
其次，传输节点最好选择自有产权办公楼数据中心，一方面，可以根据自己的需求，对数据中心的物理安全及电力等配套基础设施提出高标准建设要求，如市电故障时，UPS需要能提供至少6～12小时后备电力，进出数据中心需要严格审核等，进一步保障物理安全；另一方面，可以提高进出数据中心维护的便利性、可控性。
最后，传输节点物理线路接入能力，对于传输网建设也起到举足轻重的作用，要求入楼管井及数据中心弱电管路等资源可自行控制，对入楼管井、熔接包、光缆资源拥有产权等措施，可以提高后续光缆接入的可扩展性；在入楼光纤配线架首次施工前，充分评估未来2～3年业务增长量，减少重复施工；入楼管井双入口，要求供应商线路通过不同管井入楼；多数据中心互联对接时，至少有两家供应商，通过两条物理上不同路由的链路，分别接入到两个传输节点，保障可靠性。传输网物理架构示意图如图10-1所示。
在某案例中，通过租用第三方供应商专线的方式联通，遇到了可扩展性及容量问题；另外，由于运营商政策限制，多数据中心间无法进行直接联通。因此必须建设自有传输数据中心，来担当核心数据中心间的汇聚节点。
我们规划了传输网城域网节点（如图10-1中的城域网节点①），将所有运营商数据中心，通过不同路由的两条裸光纤，分别接入至城域网节点A、B。通过使用裸纤线路互联，至少可提供主备各10Gbps容量，未来可通过采购密集波分复用设备（DWDM）进行扩容；为解决特殊业务对双运营商小带宽（容量为2～100Mbps）专线接入需求，两个城域网节点分别引入了电信、联通、移动专线。

图10-1  传输网物理架构示意图
随着多数据中心业务系统架构逐步建设完成，关键业务系统的异地灾备开始提上日程。经过调研业务需求，灾备数据中心与核心数据中心间需要提供大容量（1～10Gbps）专线带宽，并提供服务质量保障。出于安全风险考虑，一般灾备数据中心距离核心数据中心近千公里，于是我们规划了广域网节点（如图10-1中的广域网节点②），用于国内异地数据中心接入。经过调研长途大带宽专线，国内三大运营商成本非常高，相比之下，缆信、中信、铁通线路的资源，可以提供相对较高的性价比，目前长途专线主要租用这三家资源。

随着海外业务的开展，初期业务系统的监控报警、部署、维护等都需要与国内核心数据中心联通，某些业务安全级别要求较高也需要经专线传输。在对接过程中尝试过多种方案，比如搭建IPSec VPN隧道打通，经过验证这种方案的稳定性基本无法保障（主要原因是到海外互联网带宽资源紧张，电信运营商不提供服务质量保障，经常发生不规律、不明原因的TCP Reset造成业务中断），于是我们在中国香港地区建设了国际专线汇聚接入点，中国大陆与国际数据中心以及国际数据中心之间的数据交互通过香港交换，不需要再返回至大陆汇聚节点。
经过综合考虑国际线路成本及业务部署稳定性问题，以及与业务线商讨，确认国际线路使用原则如下：（1）国际专线不作为业务系统使用，仅作为运维使用。（2）对于特殊的高安全级别业务，需求走专线的，需要进行特殊报批申请。（3）非敏感类业务的需求，使用中国香港地区的国际互联网带宽（香港地区的国际互联网访问海外质量较好，规避了GFW影响），尽量降低业务对专线的强依赖。（4）由于国际专线带宽资源有限，在充分复用基础上，部署QoS策略保障关键业务服务质量。
在传输网上规划了中国香港地区国际节点（如图10-1中的国际节点③，主要基于其国际线路资源优势，以及与中国大陆联通性考虑），通过香港地区国际节点将海外资源、国内资源进行联通，即可实现成本优化（国内直接联通海外专线商务成本高，高成本主要是由于国际运营商与中国大陆运营商之间结算费用较高）。

传输网逻辑架构
在多数据中心架构设计上，每个数据中心都是内外网物理架构的，传输网的逻辑架构设计也主要基于以上因素的考虑，将跨数据中心间的内外网流量分离，并采用分区域模块化设计，在每个数据中心设计独立的传输网区域，多数据中心间的内外网流量优先通过传输网交互。传输网逻辑架构示意图如图10-2所示。

图10-2  传输网逻辑架构示意图
在传统的网络结构下，虽然是自有业务间的访问需求，但不同运营商的外网间访问均需要跨ISP，带来访问延迟较大、丢包等问题，并且会有额外的带宽成本支出。通过传输网的外网互联模块，打通了多数据中心间外网，不但可以解决延时、丢包等技术问题，而且还可以将多数据中心间自有业务的互访流量控制在传输网内部，提供了专线级别的访问质量，同时减少了出公网带宽成本。

流量模型如图10-2所示，⑤→⑧代表跨数据中心间外网流量交换。多数据中心内网之间的交互主要依靠传输网区域的内网互联模块，通过城域网节点裸纤对接至少可提供10Gbps容量，后续业务增长，只需要部署一套波分设备扩容即可。流量模型如图10-2所示，①→④代表跨数据中心间内网流量交换。

传输网线路容量
传输网容量主要受传输节点的物理空间、电力、波分设备档次影响，一旦建设完成，再进行割接改造成本较高，对业务影响范围比较广，因此需要考虑1～3年业务跨数据中心间传输容量需求。在传输网容量需求的不同阶段，使用不同的技术方案，以匹配业务需求。
根据传输网建设经验来看，多数据中心间的传输容量小于1Gbps，主要基于运维简易性考虑，通常租用两家第三方服务商双线路传输通道接入，即可实现高可用，当传输容量需要扩容至10Gbps时，则可以考虑租用裸纤方案，并配套使用长距单模万兆模块对接，同时为未来扩容到大于10Gbps容量做好光纤等基础资源储备。未来传输容量发展到大于10Gbps时，基于裸纤搭建波分网络扩容即可。
波分的选择：首先，根据传输网容量大小，确定采用密波分或粗波分设备；其次，传输网整体架构采用汇聚型结构，在网络数据层面进行冗余保护，减少波分物理环[lw1] 保护建设成本；最后，在波分设备部署架构上优先采用链型方式组网。这样做的好处是，一方面，物理层结构简单清晰，扩容方便；另一方面，利于减少波分设备厂商绑定（波分设备成对配套使用，不能使用不同厂商的设备对接），在设备选型上可以使多家波分设备供应商参与竞标，降低商务成本。关于传输设备厂商的选择，考虑到品牌知名度、可靠性、售后服务等因素，建议优先考虑华为、中兴等本地化厂商。

传输网服务质量
虽然专线容量在不断扩充，但仍然会有数据中心间专线、国际专线带宽拥塞丢包的情况发生，造成业务服务质量严重下降，甚至不可用。因此，基于各业务在专线使用中对带宽要求各不相同的考虑，需要对突发流量进行控制，重点保障高优先级业务的服务质量，尽量避免由于专线资源满载造成的业务降级或不可用的问题发生。解决此类问题的关键在于，如何精准识别不同业务类型需求，根据业务需求提供不同的服务质量/带宽保障。
结合上面提出的解决方案，对专线的服务质量给出了QoS保障流程。◎ 定义金、银、铜三类服务级别，通过DSCP区别不同的业务服务级别，金、银、铜按照总带宽容量6:3:1比例（具体比例按实际情况进行划分）分配，在此之上再将不同业务划分入不同的服务级别。◎ 业务服务器出入网卡流量依据服务级别执行DSCP打标签。◎ 传输网区域模块根据DSCP值提供对应的服务质量保障策略。

传输网调度策略
上面介绍的主要是传输网的架构和业务的互访需求，接下来我们看几个具体的应用场景和实现方式。 场景一：多数据中心内部不同运营商间流量交互调度（见图10-3）。 
图10-3  传输网流量调度路由示意图
多数据中心间外网流量交互访问，通过传输网区域的外网互联模块，根据调度策略进行灵活控制。在正常情况下，多运营商需要多条默认路由保障出入向流量保持一致，使用一张Public路由表会导致默认路由冲突，这是无法满足需求的。

为了解决默认路由问题，需要在同一套物理设备上使用VRF技术进行路由表逻辑隔离。使用VRF多实例（CNC/CTC/BGP）、多进程OSPF（进程号100/200/300）逻辑分离多个运营商。
为了实现单数据中心内的多个ISP之间互联通，传输网区域使用VRFALL_ISP标识并使用OSPF（进程号400）将三类ISP VRF路由打通，并过滤掉默认路由（避免由于默认路由引起的多个运营商之间流量串扰）。
为了实现多数据中心间外网之间互联通，多数据中心传输网外网之间采用BGP协议对接，在每个数据中心传输网边缘将外网路由重分布，进而达到多数据中心间进行路由传递的目的。
场景二：跨数据中心带宽借用。依靠传输网资源，可以将CDN数据中心带宽，临时调用至其他数据中心使用，通过复用CDN大带宽资源，满足业务突发活动的带宽需求。技术实现原理比较简单，主要是使用VRF技术，将核心数据中心的运营商带宽资源，在传输网外网互联模块上进行延续扩展。在城域网节点，将引入到核心数据中心的运营商，设置相同的VRF，在使用外部调度资源的数据中心，通过动态路由协议，进行IP地址路由通告，即可实现资源的引入（见图10-4）。

图10-4  传输网带宽资源引入示意图
总结：经过传输网的初期建设，传输网的整体架构已经搭建完成。在未来1～2年内，基于现有架构进行波分、网络设备扩容即可实现传输容量的升级扩容。