【网络】叶脊(Spine-Leaf)网络拓扑下全三层网络设计与实践(一) - 叶脊网络架构简介

1.  叶脊网络架构简介

天地万物，应运而生。传统的三层网络架构，在发展了多年后，终于也命数将尽了，替代它的，将是叶脊网络架构。究其原因，是因为传统三层网络架构自身存在一些无法突破的限制与弊端，在当今云计算风起云涌，虚拟化如火如荼，数据中心越来越大，网络规模需要无限扩展的时代，叶脊网络架构应运而生。

1.1 传统三层网络的弊端

如上图是传统三成网络架构的典型拓扑结构：

1. 接入层：接入交换机通常位于机架顶部，所以它们也被称为ToR（Top of Rack）交换机，它们物理连接服务器。
2. 汇聚层：汇聚交换机连接同一个二层网络（VLAN）下的接入交换机，同时提供其他的服务，例如防火墙，SSL offload，入侵检测，网络分析等， 它可以是二层交换机也可以是三层交换机。
3. 核心层： 核心交换机为进出数据中心的包提供高速的转发，为多个二层局域网（VLAN）提供连接性，核心交换机为通常为整个网络提供一个弹性的三层网络。

在这种网络架构下，存在如下的一些弊端：

1. 带宽的浪费：为了防止环路，汇聚层和接入层之间通常会运行STP协议，使得接入交换机的上联链路中实际承载流量的只有一条，而其他上行链路将被阻塞（如图中虚线所示），造成了带宽的浪费；
2. 故障域较大：STP协议由于其本身的算法，在网络拓扑发生变更时需要重新收敛，容易发生故障，从而影响整个VLAN的网络；
3. 难以适应超大规模网络：在云计算领域，网络规模扩大，数据中心也分布在不同的地理位置，虚拟机要求能在任意地点创建，迁移，而保持其网络属性（IP, 网关等）保持不变，需要支持大二层网络，在上图的拓扑中，无法在VLAN10和VLAN20之间作上述迁移；

对于上述带宽浪费的问题，思科提出的解决方案是vPC（virtual Port Channel）协议，可以将接入交换机的两条上行链路做成一个vPC，同时承载流量，从而避免了带宽的浪费，提升了带宽的利用率，然而，一方面，这种方案仍然无法做到水平扩展，因为vPC只支持最多两个上行链路，上行链路增多时，无法线性增加带宽；另一方面，vPC是思科的私有协议，对于厂商的依赖性强，成本上不具有优势，下图为vPC的架构图：

上图的方案提高了带宽利用率，但仍没有解决大二层的问题，解决方案是将核心层以下的部分全部放在同一个二层网络中，但是，同一个二层网络中容纳如此多的设备，二层网络中的广播风暴将随着设备的增加而越来越严重，最终给交换机带来沉重的负载，从而影响流量，下图为传统网络大二层的解决方案示意图：

在过去的业务模式中，分布式还没有兴起，一个服务通常需要访问的资源在同一个服务器上，因此东西向流量较少，主要需要关注的是南北向流量，以一个web服务为例，后端服务也许只位于一个服务器上，这个服务处理请求时不需要向别的服务器发起请求，在本机上就可以完成处理，处理完成后将结果返回给浏览器，如果访问请求增多，则南北向流量增大，对单个服务器的运算能力也要求较大，然而东西向流量并不会变多。

然而由于技术的发展，如今的数据中心对网络的需求早已发生了变化：

1. 虚拟化的兴起：为了提高计算和存储资源的利用率，如今的数据中心几乎都会采用虚拟化技术，而虚机资源的迁移会大大增加网络中的东西向流量；
2. 软件架构的解耦：当今的一个服务可能会拆分成多个服务部署在不通的虚拟机上，可能位于不通的位置，这些服务之间会频繁的通信，会大大增加东西向流量；
3. 分布式应用的兴起：数据和应用如今会分布在成千上万个服务器上，任务需要在这些服务起上进行分发，计算，汇总，返回，会大大增加东西向流量；

传统架构下，当存在大量东西向流量时，汇聚交换机和核心交换机的压力会大大增加，网络规模和性能也就限制在了汇聚层和核心层。要支持大规模的网络，就必须有性能最好，端口密度最大的汇聚层核心层设备，这样的设备成本高，不是所有企业都买得起，且必须在建设网络时就预先规划好网络规模，在网络规模小时，会造成资源的浪费，在网络规模继续扩大时，扩容也比较困难，因而让企业陷入了成本和可扩展性的两难选择之中。

1.2 叶脊网络架构的优势

如上图所示为叶脊网络架构的简单模型，SPINE和LEAF之间为全网状连接（Full Mesh），具有如下优势：

1. 带宽利用率高：每个LEAF到SPINE的多条上行链路以负载均衡方式工作，充分的利用了带宽；
2. 网络延迟可预测：在以上模型中，各LEAF之间的连通路径的条数可确定，均只需经过一个SPINE，东西向网络延时可预测；
3. 可水平扩展带宽：带宽不足时，增加SPINE交换机数量，可水平扩展带宽；
4. 服务器数量水平扩展：服务器数量增加时，增加LEAF交换机，扩大数据中心规模
5. 单个交换机要求低：南北向流量可以从LEAF节点出去，也可从SPINE节点出去，东西向流量会分布在多条路径上，对单个交换机的性能要求不高；
6. 高可用性强大：传统网络采用STP协议，当一台设备故障时就会重新收敛，影响网络性能甚至发生故障，SPINE LEAF架构中一台设备故障时，不需重新收敛，流量继续在其他正常路径上通过，网络连通性不受影响，带宽也只减少一条路径的带宽，性能影响微乎其微；
7. 可扩展性好：无需提前规划网络规模，按需扩容，小规模启用，大规模适用。

接下来我们可以根据交换机的端口数量和带宽，对SPINE LEAF架构的网络适用的规模进行简单的估计，如下图所示的拓扑：

估算基于以下假设：

1. SPINE数量：16台 
2. 每个SPINE的下联端口：48个 × 100G
3. SPINE上联端口：16个 × 100G
4. LEAF数量：48台
5. 每个LEAF的下联端口：64个 × 25G
6. LEAF的上联端口： 16个 × 25G

SPINE的下联端口数量和LEAF的上联端口数量相同，以充分利用端口，在考虑链路SPINE LEAF之间的带宽全部跑满的情况下，每个LEAF下联的服务器数量最多为：

即刚好等于LEAF的下联端口数量，总共可支持的服务器数量为：

也就是说，在上述假设下，一组SPINE LEAF网络可以支持3072台服务器，这是相当于一个中大型规模的数据中心，那么如果仍有扩展的需求该怎么办呢？根据上述的计算，LEAF和SPINE的下联端口都已经耗尽，在这个网络中已无法增加SPINE,LEAF或服务器。让我们继续深入一下，看看Facebook的Fabric网络架构：

在这种架构中，我们的SPINE LEAF网络是其中的一个POD, 我们的SPINE是图中的Fabric Switches，我们的LEAF是图中的Rack Switches，最上面的Spine Switches把各个POD连通起来。当一个POD的容量已满时，可以增加POD，并用SPINE将这些POD连通起来，实现了网络的继续扩展。除了前面描述的POD和SPINE，上图中还有黄色的Edge Plane，这是为数据中心提供南北向流量的模块。它们与SPINE交换机的连接方式，与前文中简单的的SPINE LEAF架构一样。并且它们也是可以水平扩展的。

SPINE LEAF网络架构只是一种网络部署的拓扑方式，具体的实现方法与配置多种多样，有的厂商根据这种拓扑结构定义了特定的网络协议，如思科的Fabric Path等。接下来，笔者将要介绍的是利用SPINE LEAF网络架构构建一个全三层的网络的设计思路与实践方案。

点击进入下一节： 叶脊(Spine-Leaf)网络拓扑下全三层网络设计与实践(二) - 架构设计思路 - 网络规划