叶脊网络实战 - 设计物理网络（一）

1. 基础网络

Leaf又细分为Server Leaf和Border Leaf。Underlay层的路由协议可以选择OSPF或EBGP（External Border Gateway Protocol，外部边界网关协议）；服务器可以接入M-LAG、堆叠或单机形态的Server Leaf；Service Leaf和Border Leaf可独立部署，也可融合部署；Border Leaf与外部PE（Provider Edge，即服务提供商网络的边缘设备）之间可以采用多种互联组网和路由发布方式。

一个典型的数据中心内部的物理网络采用Spine-Leaf架构，业界推荐的组网方式如图所示。

图中各个网络各类角色含义，如下
Fabric：一个SDN管理的故障域
spine： 骨干节点（叶脊网络架构中的脊）
leaf： 叶子节点（叶脊架构中的叶节点）
server leaf： leaf的功能节点（服务器接入的节点）
boarder leaf： leaf的功能节点（连接外网的节点）

Service Leaf和Border Leaf在网络转发层面上并没有差异，仅仅是接入设备不同。由于采用了Spine-Leaf的扁平结构，整体网络东西向流量转发路径较短，转发效率较高。
对于Spine节点主要负责Leaf节点之间流量的高速转发。推荐单机部署，数量根据Leaf到Spine的收敛比（Leaf的下行总带宽和Leaf的上行总带宽的比值，一般来说，收敛比为1:9～1:2
·对于Leaf设备：Leaf节点主要负责Server的接入和作为南北向网关。Leaf组网方式推荐使用M-LAG双活方式部署，每个Leaf节点与所有Spine节点相连，构建全连接拓扑形态。
Leaf和Spine之间建议通过三层路由接口互联，通过配置动态路由协议实现三层互联。路由协议推荐OSPF或BGP

2. 设计物理网络

2.1 路由协议方案

物理网络的路由协议主要有OSPF和EBGP两种。一般推荐OSPF作为路由协议的首选协议，只有在网络规模较大、需要分区部署，且需要BGP灵活的路由控制能力的情况下，才推荐使用EBGP。

当Leaf节点规模小于100台时，推荐Underlay路由选用OSPF，此时路由建议规划如下。
对于单Fabric内部：Spine和Leaf节点的物理交换机上全部部署OSPF，只规划Area0，所有设备均处于Area0中，使用三层路由端口地址建立OSPF邻居，打通物理路由，network类型建议为P2P，如下图所示。

OSPF路由协议部署简单，在网络规模不大时，协议收敛速度较快，是中小型数据中心网络Underlay的首选协议。

2.2 服务器接入方案

服务器Eth-Trunk接入Leaf M-LAG工作组，如下图所示

两台leaf设备通过peer-link互联并建立dfs-group，对外表现为一台逻辑设备，但是又各自有独立的控制面，服务器以负载分担的方式接入两台leaf，设备设计维护简单，运行可靠性高。下行口配置M-LAG双归接入服务器，服务器双网卡运行在主备/负载分担模式，因设备有独立控制面，故部署配置相对会复杂一些。

2.3 Border Leaf节点设计及其原理

Border Leaf和Service Leaf作为两类特殊的Leaf节点，并不用作接入业务服务器。Border Leaf主要用作数据中心网络的南北向网关，负责将南北向流量发送给对端的PE及从PE接收发往数据中心内部的流量。还有一组特殊的Leaf主要用作接入VAS设备，例如防火墙、LB等
我们在这里的设计是将外网PE和VSA设备都挂在boader leaf节点上，L4～L7等增值设备旁挂在Border Leaf节点两侧，双归接入两台交换机，防火墙接入网关设备的方式拓扑简单，可以简化配置部署，防火墙可以伴随网关组扩展同步扩容。如下图：

在此场景中，数据中心内部南北向流量的路径为Server→Server Leaf→Spine→Border Leaf→VAS→Border Leaf→PE→External Network。业务流量到达Spine后，直接被重定向到VAS设备，经过VAS设备处理后的流量再发回Spine，最终发往数据中心外部。从外部访问数据中心内部的流量路径相同、方向相反。
可以看出，采用这种方式组网，设备较少，组网成本较低，流量模型非常简单，便于维护。但是它的扩展性不佳，受限于Border Leaf和Service Leaf的规格。这种方式适合中小型数据中心，这类数据中心往往对网络扩展性的要求不高，更关注落地难易、成本高低和是否具有可维护性。

2.4 网络出口设计

数据中心出口网络设计包括Border Leaf和出口路由器PE之间的连接与配置。目前Border Leaf和PE之间的连接方式灵活多样，在设计时需注意考虑以下因素。
·PE路由器可以独立部署，但建议采用堆叠部署或通过E-Trunk、VRRP等机制部署，保障可靠性。
·PE和Border Leaf之间可以通过单L3接口、双L3接口（口字形接入）、四L3接口（交叉型接入）互联，如下图所示。
·Border Leaf建议采用双活技术（如M-LAG）或堆叠方式部署，Border Leaf与PE之间可通过三层路由接口或虚接口（如VBDIF接口和VLANIF接口）互联。

对于以上3种互联方式，用户可以根据边界设备的实际情况进行选择。
·对于每个VRF，PE有几个L3接口与DC的Border Leaf对接。此项由用户既有的边界情况决定，可以通过1个、2个或4个L3接口和Border Leaf对接，推荐通过4个L3接口。
·根据物理设备的规格能力可以选择交叉型（两台PE至少需4个端口）、口字形（两台PE至少需2个端口）或直连方式（1个端口）。这由客户既有的边界路由器可提供的L3接口的数量决定，推荐交叉型连接。
如果通过单接口对接，则PE侧设备可以通过堆叠、跨设备链路聚合技术或者VRRP形式和Border Leaf对接。具体可以根据PE侧设备的能力来决定。
如果通过双接口对接，则PE独立部署，同时和双活的Border Leaf之间形成口字形组网。PE侧共配置两个独立L3接口。此时，需要在Border Leaf之间部署逃生链路，当某条互联链路发生故障时，流量可以通过逃生链路进行转发。
如果通过四接口对接，则PE和Border Leaf有4条互联链路，组成交叉型出口网络，PE侧共配置4个独立L3接口。此场景下，由于有4条链路互为冗余，Border Leaf之间的逃生链路并不是必须部署的，但是为了实现网络的健壮性，在Border Leaf接口足够的情况下，依然建议用户在Border Leaf之间增加逃生链路。

以下介绍出口网络路由规划。
Border Leaf和PE之间可以选择部署静态路由或者动态路由两种方式，一般来说，当Border Leaf和PE之间通过单L3接口进行对接时，直接通过在Border Leaf和PE上配置指向对端的静态路由，即可实现Border Leaf和PE之间的互通；而口字形组网（双L3接口对接）和交叉型组网（四L3接口）对接的情况则更复杂，需要同时考虑静态路由和动态路由的选择、逃生链路的路由规划等问题。
下面以口字形组网为例，说明出口网络的具体路由规划。
如下图所示为口字形组网下的静态路由规划，两台Border Leaf和对端PE分别通过L3接口互联，同时Border Leaf之间部署一条Eth-Trunk链路作为逃生链路。如果Border Leaf已经部署了M-LAG，建议此逃生链路和M-LAG的peer-link链路分开部署，不建议用同一条Eth-Trunk链路。
在每台Border Leaf上，配置静态默认路由，路由下一跳为对端PE的L3接口地址。在每台PE上配置静态明细路由，路由目的地址为内网业务网段，路由的下一跳为对端Border Leaf的L3接口地址。建议配置PE指向内网的静态路由时，进行路由汇
聚，减少路由条目，方便运维。
针对逃生链路，可以在每台Border Leaf上配置低优先级的静态默认路由，路由的下一跳为对端Border Leaf的L3互联接口。这样在指向PE的静态路由失效时，这条低优先级的默认路由会生效，使流量可以通过逃生链路绕行。

如下图所示为口字形组网下的动态路由规划，两台Border Leaf和对端PE分别通过L3接口互联，同时Border Leaf之间部署一条Eth-Trunk链路作为逃生链路。如果Border Leaf已经部署了M-LAG，建议此逃生链路和M-LAG的peer-link链路分开部署，不建议用同一条Eth-Trunk链路。

在动态路由对接方案中，仍然建议内网访问外网的北向流量通过静态默认路由访问PE，并且同样在Border Leaf配置低优先级的静态默认路由指向对端Border Leaf，作为逃生链路的路由。
PE侧访问内网网段则通过OSPF协议实现，Border Leaf和PE、PE和PE之间建立OSPF邻居，同时在Border Leaf上将静态路由引入OSPF中，由于Border Leaf上会有指向内网网段的静态路由，这些静态路由通过OSPF发送给PE后，PE可以根据这些路由访问内网。同时，该方案中，PE和PE之间也通过一条L3链路建立OSPF邻居，该链路可以作为PE的逃生链路。