《云数据中心网络架构与技术》第四章：金融数据中心网络的总体架构与方案演进

金融企业网络的总体架构

1.总体架构

金融企业网络总体架构分为服务域、通道域和用户域，如图4-38所示，图中双向箭头表示依赖关系，单向箭头表示组成关系。
用户域包括行内用户、行外用户，其中行内用户包括分支机构用户、数据中心园区用户和总行用户，行外用户包括互联网用户和外联第三方用户。
数据中心网络分区中的本地用户接入区用于行内用户的接入。分支机构用户通过内网通道域接入数据中心网络，总行用户通过城域网接入内网通道域，再接入数据中心网络中的广域网接入区。互联网用户通过互联网通道域接入数据中心网络中的互联网接入区。外联用户通过外联网通道域（主要是专线接入）接入数据中心网络中的外联接入区。

通道域中的内网通道由金融企业的核心骨干网、一级骨干网、二级骨干网、网点广域网组成。网点接入网点广域网，网点广域网接入二级骨干网，二级分行数据中心网络挂接在二级骨干网上，二级骨干网接入一级骨干网，一级分行数据中心网络挂接在一级骨干网上，一级骨干网接入核心骨干网，总行数据中心网络挂接在核心骨干网。目前银行正在进行扁平化改造，二级骨干网后续会逐步减少。

服务域提供各种金融业务服务，涵盖了金融企业总行数据中心网络和一级分行数据中心网络中的全部主机区、服务器区，提供的业务包括核心业务（如会计核算、客户信息、后台业务、资金业务、结算业务等）、中间业务（如银行卡业务、国际业务、代理业务、外联业务、信贷业务等）、渠道服务系统（如网上银行、电话银行、手机银行、自助银行、综合柜员等）、管理支撑系统（如经营管理、风险管理、管理平台、办公系统等）等。

2.金融数据中心网络架构

金融数据中心内部统一采用交换核心汇聚各物理分区，物理分区规模不大，目前规模最大的物理分区承载约1000台物理服务器。新引入的服务器网卡主流使用万兆网卡，千兆网卡主要用于服务器的带外管理。
各物理分区边界部署防火墙，防火墙策略一般多于50 000条，防火墙策略变更工作量大，达到10 000次/年，防火墙变更数量占网络变更总量的60%以上。各物理分区部署负载均衡设备，服务于多个应用系统。园区部署分布式DNS（DomainName Service，域名服务）系统，分行客户端访问数据中心的应用，以及5级灾备应用的App访问DB（Database，数据库），均可通过域名方式实现。
常见数据中心网络分区示例1如图4-39所示

上述分区中，业务1区为柜面业务区，业务3区为网银业务区，业务5区为办公、邮件和Notes业务区，境外业务区（FOVA区）按时区细分为3个子分区，托管区主要处理子公司业务、互联网区、网银区的Web接入。
图4-40给出了一种金融数据中心网络架构。根据应用特点和重要性、安全隔离、运维管理等因素，数据中心互联区划分为核心业务区、外联隔离区、互联网区、语音视频区、办公管理区、管理外网。
图4-41给出了另一种常见的金融数据中心网络架构。数据中心采用传统分区设计，二层采用STP组网技术，三层采用OSPF路由设计。网络安全方面，使用防火墙隔离生产、办公网，大部分用户域业务区未部署防火墙，网银区（互联网区）部署异构防火墙、Anti-DDoS等设备。网络运维方面的主要痛点在于日常大量的安全ACL的变更，数据中心的安全是按边界最小授权原则处理，每周处理几百条ACL。

▲图4-40　数据中心网络分区示例2：金融数据中心网络架构一

图4-41　数据中心网络分区示例3：金融数据中心网络架构二
上述几个示例适用于不同的业务规模和自身需求的金融企业，都采用了水平分区、垂直分层的设计思路。每个分区内部的网络架构主流采用“汇聚+汇接+接入”的架构，网关在汇聚层。

3.服务器分区网络架构

金融数据中心主流的服务器分区网络架构如图4-42所示，其中数据中心的核心为独立部署。分区主要采用“汇聚+汇接+接入”的架构，每一层采用vPC、堆叠或M-LAG技术实现破环和链路复用。

图4-42　服务器分区网络架构
汇聚设备含路由核心和交换核心，采用高端框式交换机。2台框式交换机采用VS（Virtual System，虚拟系统）技术虚拟化成4台设备，其中2个VS1作为路由核心、2个VS0作为三层交换核心。防火墙串联在交换核心和路由核心之间，防火墙与交换核心、路由核心之间运行静态路由，服务器网关在交换核心。接入交换机采用ToR（Top of Rack，机架交换机）架顶方式部署，汇接交换机采用EoR（End of Row，行末交换机）方式部署。
没有进行SNAT（Source Network Address Translation，源网络地址转换）的分区服务器，其网关在负载均衡设备上。进行了SNAT改造的系统，其网关在交换核心交换机上。
除网银区、外联区外，其他功能分区的Web、App、DB放在一个区，互访不经过防火墙。
服务器通过网线连接到ToR，一个机架部署8台或12台服务器。
ToR通过跳线连接到网络柜的分区汇接交换机，网络设备的带外管理接入交换机部署在网络柜。每个分区汇接交换机部署4个GE上行链路。每个分区的路由核心到数据中心大核心交换机之间使用40Gbit/s接口互联。
数据中心局域网普遍存在的痛点是，服务器部署位置固定，不同业务分区的服务器只能接入固定的网络分区对应的接入交换机，灵活性不佳，长此以往，会导致资源总体紧张、局部富余的不均衡现象。其余痛点包括：网络配置采用手工或脚本方式进行，效率低且极易出错；防火墙策略维护工作量大，且不易判断防火墙策略是否有用、策略是否冗余；IP地址手工分配，周期长，效率低，且部分采用公网地址，可能会重复；部分应用基于IP访问，不能支持SNAT，导致二层范围大，网关在LB（Load Balance，负载均衡器）设备上，性能低，故障域大。

4.两地三中心网络架构

金融数据中心普遍采用两地三中心的网络架构，部分银行正在向多地、多中心的网络架构演进。主中心、同城灾备中心、异地灾备中心通过广域网络互联，支持应用系统跨园区部署。主中心、异地灾备中心部署生产互联网出口，总带宽主流为10～20Gbit/s，服务器总数在7000台左右。鉴于二层广播风暴风险，同城数据中心之间，在大型银行普遍采用三层IP互联，二层互联被部分中小规模用户使用，或仅作为临时业务搬迁时使用。
二层互联普遍采用区域交换核心（网关交换机）直连DWDM（Dense Wave length Division Multiplexing，密集波分复用）设备，Eth-Trunk需要允许对应的VLAN ID的VLAN通过，实现二层延伸，如图4-43所示。

图4-43　同城数据中心网络互联架构
三层互联有两种方式：采用核心交换机直连DWDM设备；采用核心交换机连接到CPE（Customer PremisesEquipment，用户终端设备，也称用户驻地设备）、MCE（Multi-VPN-instance Custom Edge，多VPN实例用户边缘）设备，然后CPE/MCE设备连接到DWDM设备。

金融业务的发展诉求与数据中心网络的演进

1.金融业务的发展诉求

网络的需求具体如下。
（1）面对互联网创新应用的快速发布，要求网络提供灵活的资源调配和敏捷的应用部署能力。
（2）面对用户增长的不确定性和爆发性，要求网络容量具备足够的高并发、抗冲击能力，同时具备灵活的按需扩展能力。
（3）面对大数据、云计算为代表的新技术与金融业务的深度融合，要求提供高带宽、低时延的高性能网络，同时架构具备可伸缩性、开放性与兼容性。
（4）面对风险防控以及网络安全严峻形势，需要全面提升网络安全保障能力。要求具备完整的安全防护体系，网络架构高可用以确保业务永续，并且应用可视化、管理自动化，便于快速排障。
（5）互联网金融对网络在可用性、高性能、灵活弹性、敏捷自动化、安全可控等方面提出了诸多需求，参见图4-44。
图4-44　互联网金融网络需求
（6）云数据中心云化，具有虚拟机数量多、增长快、迁移范围大的特点，对网络提出了如下新要求。

• 东西向流量增大、网络二层拓扑变大、网络互连带宽需求增加，从“GE接入、10GE上行”演进到“10GE接入、40GE上行”，进而“25GE接入、100GE上行”很快变得普及。
• 虚拟机要求能够在数据中心机房模块内、几个机房模块之间，进而在同城数据中心之间灵活部署，任意迁移，需要大二层网络，同时避免广播风暴。
• 基于云环境下应用系统的多活或主备定义，需要整体规划数据中心多站点选择。
• 要求接入交换机支持更大的MAC表、主机路由表项。
  （7）大数据应用具有数据量大、数据类型多、处理速度快等特点，流量模型多达一或多达多的场景对网络提出了如下新需求。
• 需要网络高可用和可扩展，支持ECMP。
• 大数据应用也会产生突发流量，要求网络设备具有较强的缓存和队列功能，以缓解突发流量的影响。
• 大数据应用要求网络具有良好的收敛比，一般情况下，服务器和接入层的超载比为3:1左右，接入层和汇聚层以及汇聚层和核心层之间的超载比为2:1左右。
• 大数据应用要求网络有足够的接入带宽，要求网络时延低。
• 人工智能技术要求网络实现高性能、低时延、零丢包。
  总而言之，金融业务的发展要求网络架构资源池化、灵活弹性、自动化与服务化。
  此外，FinTech（金融科技）技术广泛应用在传统金融企业以及互联网金融企业中，其技术发展对网络也提出了一系列要求。

2.FinTech的发展诉求

FinTech经历了FinTech 1.0、FinTech 2.0，正向FinTech 3.0演进，参见图4-45，每个阶段都带来了业务变革和相应的IT技术变革。
在FinTech 1.0阶段，IT变革的核心是电子化和自动化，关键特征包括计算机取代手工操作，建设电子资金转账系统，系统采用烟囱型架构，数据仅限于同城间流动，网络是分散建设的。

图4-45　FinTech的发展趋势
在FinTech 2.0阶段，IT变革的核心是网络化和集中化，建设了两地三中心的网络架构，数据中心网络采用水平分区、垂直分层的模块化设计思路，适应了业务的快速发展。
在FinTech 3.0阶段，IT变革的核心是采用前台、中台和后台的系统设计思路，借助大数据、云计算、人工智能，实现前台场景化、中台智能化、后台云化。数据中心网络采用资源池、大二层与胖树架构、自动化的设计思想，满足数据中心东西向流量为主的诉求，以及业务灵活部署、弹性扩缩的发展需求。
总而言之，FinTech技术发展要求网络支持云化、资源池化、自动化。
此外，金融数据中心网络的规划设计需要分析IT对网络的诉求，并采用主流的ICT进行规划设计。

3.网络功能需求分析

据复制、数据备份、统一通信、IP语音系统、呼叫中心、视频会议系统和视频监控系统等。
（1）VM与BM接入
（2）容器Docker接入
（3）数据复制
（4）数据备份
（5）统一通信
（6）IP语音系统
（7）呼叫中心
（8）视频会议系统
（9）视频监控系统

4.网络属性需求分析

网络属性需求是指除功能需求之外的有关网络质量方面的需求，对网络的稳定健康运行起着关键作用，具体如表4-1所示。