华纳云：香港机房基础网络架构

香港机房的网络在连接计算和存储资源以及以服务形式向内部和外部用户提供数据访问方面发挥着作用。虽然网络建设和运维维护投入远远不及香港机房基础设施，服务器设备，存储设备，应用开发和运维，但大多数人都害怕其性能问题或故障长时间无法恢复，因为网络不可用，这意味着一切服务将停止。因此，设计高性能，高可靠性的运营和维护网络是网络架构和运维团队的首要目标。

香港机房

数据中心10G/40G网络架构
　　主要设计理念：
　　具有全线速和高性能转发的核心设备，核心不互连，并且结构隔离以隔离核心故障。
　　尽量减少核心故障的影响；
　　三层路由组网通过ECMP提高冗余，降低故障风险；
　　通过TOR上的服务器访问次数和上行链路40G链路的数量来控制单个TOR收敛比，并通过增加核心设备接口的密度来扩展单个站群服务器的大小。
　　注意：千兆网络未跟上业务发展的步伐，本文未对其进行介绍。
　　适用的网络架构设计架构特性
　　中小
　　（簇大小300-1000单位）

每个TOR 2 * 40GE连接到核心2，OSPF网络；

IDC的收敛比为6:16，簇带宽为1.5Tbps。

根据簇大小灵活配置上行带宽。

介质

（集群规模1000-10000单位）

每个TOR 4 * 40GE连接到核心2，OSPF或BGP网络；

IDC的收敛比为3336601，集群带宽为30Tbps。

根据簇大小灵活配置上行带宽。
　　大
　　（簇大小5000-20000单位）
　　每个TOR 4 * 40GE连接4个核心和BGP网络；
　　IDC的收敛比为3336601，集群带宽为60Tbps。

根据簇大小灵活配置上行带宽。
　　很大
　　（集群规模20000+台湾）
　　单个POD集群的规模为300-1000，数据中心集群规模为20000+，BGP组网；
　　POD的收敛比为6336601或3:1，单个POD集群的带宽为1.5Tbps。
　　根据簇大小灵活配置上行带宽。
　　数据中心25G/100G网络架构。
　　与10G/40G网络一致，主要变化是：
　　下行链路从10G变为25G，增加到2.5倍；
　　每端口40G到100G的上行链路，最多2.5次；
　　下一代主流芯片解决方案实现为48 * 25GE + 8 * 100GE（Broadcom TD3），上行链路收敛比增加到1.5:1。
　　CLOS网络架构
　　最后，我想与大家分享一下今年中国许多互联网公司正在考虑的新架构设计。从上述体系结构设计描述中，不难看出数据中心集群规模和收敛比主要受机箱式核心设备端口密度的限制，并且进行了业内核心设备的升级。以几年为单位，这极大地阻碍了数据中心的规模和发展。此外，具有数百个40GE接口或100GE接口的单核设备的运行功率已达到20KW，而中国大多数IDC机房的平均功率仅为5KW~6.5KW /机柜，带来了维护和管理机房供电系统。很大的挑战。如何摆脱核心设备端口密度的限制？如何摆脱IDC房间供电系统核心设备的挑战？
　　架构特点：
　　Leaf，fabric和Spine交换机使用48 * 25GE + 8 * 100GE/32 * 100GE的低端和中端盒式交换机。
　　每个Leaf，服务器访问最多32个25GE，上行链路上行8个100GE；每个POD 16个PAD；
　　每个光纤交换机有32个100GE，16个下行链路，16个叶子，16个上行链路到16组Spines，每个POD有8个PAD，总共32个POD。
　　每个Spine交换机有32个100GE，所有这些都用于连接32个POD Fabric交换机。
　　每组8套，共有16套脊柱开关；
　　通过Edge POD连接外部网络，单个POD集群的带宽为12.8 Tbps，整个数据中心集群的带宽超过400 Tbps。
　　随着智能时代的到来，大数据和人工智能等新技术的应用给数据中心网络带来了新的挑战。如何更好地支持Hadoop，RDMA和其他技术应用程序已成为网络运营和维护团队的关注和考虑。高性能，低延迟和无损网络已成为数据中心网络设计和运营维护的主流理念。