服务器的接入涉及到布线方式,以及接入交换机的选择。常见的布线方式有TOR以及EOR/MOR两类,参见图4-7和图4-8。这两类方式可以组合出丰富的部署方式,在具体项目中,我们需要根据业务部署的要求,灵活选择不同的部署方式或组合。
图4-7 TOR接入方式
图4-8 EOR/MOR接入方式
两者的对比如下,参见表4-3。
表4-3 服务器接入方式对比部署方式
TOR(Top Of Rack)
EOR(End Of Rack)/MOR(Middle Of Rack)
服务器类型
1U/2U/4U机架服务器、刀片服务器(直通)
1U/2U/4U机架服务器、刀片服务器(交换模块)
适用场景
高密度服务器机柜
低密度服务器机柜,高密刀片机柜
布线
简化服务器机柜与网络机柜间水平布线
布线复杂
维护
接入设备多,网络管理维护复杂;
电缆维护简单,扩展性好。
接入设备少,维护简单;
电缆维护复杂。
在数据中心网络的场景中,大部分属于高密度服务器的场景,因此采用TOR的方式比较常见。不同服务器和场景的部署思路可参考表4-4。
表4-4 服务器部署典型场景服务器密度
服务器种类
I/O模块配置
业务网口
存储网口
业务管理网口
建议的接入交换机部署
低密度分区
机架式服务器
2U为例
固定GE/10GE,并配置FC及GE/10GE网卡
2个
GE/10GE
0~2个
FC或GE/10GE
0~2个
GE/10GE
EOR/MOR/TOR
高密度分区
机架式服务器
2U为例
固定GE/10GE,并配置FC及GE/10GE网卡
2个
GE/10GE
0~2个
FC或GE/10GE
0~2个
GE/10GE
TOR
刀片服务器
以10刀片/框为例
8U
配置直通模块
(每个网口与刀片通过背板直接连接)
20个
GE直通
0,10,20个
FC直通或0,10,20
GE直通
0,20个
GE
TOR
以太链路需小于TOR最大接入密度
配置交换模块
(交换模块相当于一个接入交换机)
2~4个
10GE
0~6个
FC或10GE
0~2个
GE/10GE
EOR/MOR
下面我们以高密机架服务器场景为例,介绍下具体的接入方案。如图4-9所示,每机架部署了10台机架式服务器(通常会部署8~12台服务器),每排共有10个机架(通常每排会部署8~12个机架)部署了服务器,构成高密度机架服务器部署。某数据中心共有4排这样的机架。
图4-9 高密机架服务器接入方案
每台服务器具有2个10GE业务网口和1个FE接入BMC管理口。为了保证可靠性每台服务器采用M-LAG的方式接入网络。相邻的两个机架组成一组M-LAG的系统,这样一个机架上面的TOR交换机需要接入200G(10G×10×2=200G)带宽的流量。
根据经验值,我们在接入层的收敛比一般控制在3:1左右,这主要取决于我们将为接入交换机设计多大的上行带宽。目前来说,接入交换机的单个上行接口可以达到40G的带宽,理论上通过4个40G的上行接口,我们就可以大致将收敛比做到1:1。但是此时我们至少需要为该Spine设置4台汇聚交换机,且每增加一个上行接口就需要增加一台汇聚交换机,因此这个开销还是十分可观的。在实际部署中,我们一般设置两台汇聚交换机,接入交换机通过2个40GE接口接入汇聚交换机,提供80G(40G×2=80G)的上行带宽。这样我们就可以得到2.5:1(200G÷80G=2.5)的收敛比,很好的将其控制在3:1以内。
根据以上的分析,我们推荐选择CE6870-24S6CQ-EI作为TOR接入交换机,如图4-10所示,该交换机具有24个10GE SFP+以太网光接口和6个40GE/100GE QSFP28以太网光接口。其上行口还支持100GE的光模块,在不增加汇聚交换机的情况下,通过100GE接口也可以达到接近1:1的收敛比。除此之外,CE6870系列交换机提供4GB的大缓存,可轻松应对视频、搜索等应用引起的流量浪涌。CE6870-24S6CQ-EI
图4-10 CE6870-24S6CQ-EI
CE6870系列还提供48个10GE接口的款型,可支持更高密度的服务器接入需求。如果不需要用到大缓存,也可以选用CE6851-48S6Q-HI作为TOR接入交换机。
说明:
此处没有考虑服务器和交换机管理网口的接入需求。由于管理网口不需要大的带宽保证,从控制成本的角度出发,一般情况下会选择价格较便宜的接入交换机(只要满足接口接入需求即可),例如华为S5700系列交换机,采用MOR/EOR的部署方式。