资料:
- https://www.h3c.com/cn/Service/Document_Software/Document_Center/Home/Switches/00-Public/Configure/Practice/H3C_S_MLAG-BP_Long/#_Toc115363852
- https://www.h3c.com/cn/d_202010/1348323_30005_0.htm#_Toc53156759
S-MLAG概述
S-MLAG简介
通过S-MLAG(Simple Multichassis Link Aggregation,简单跨设备链路聚合)功能将多台物理设备在聚合层面虚拟成一台设备实现简单的跨设备链路聚合,在服务器对接的场景中提供设备级冗余保护和流量负载分担。
S-MLAG与IRF、M-LAG对比
IRF(Intelligent Resilient Framework,智能弹性架构)是H3C自主研发的软件虚拟化技术。它的核心思想是将多台设备连接在一起,进行必要的配置后,虚拟化成一台设备。使用这种虚拟化技术可以集合多台设备的硬件资源和软件处理能力,实现多台设备的协同工作、统一管理和不间断维护。
M-LAG(Multichassis link aggregation,跨设备链路聚合)是一种跨设备链路聚合技术,将两台物理设备在聚合层面虚拟成一台设备来实现跨设备链路聚合,从而提供设备级冗余保护和流量负载分担。
IRF、M-LAG、和S-MLAG都能提供设备级的冗余保护和流量负载分担功能,三者的对比如表1-1所示。
实现原理
在动态链路聚合中,如何让服务器认为连接对端的接入交换机是同一个网络设备?
动态聚合中当Partner_System_Priority和Partner_System一致时,则认为对端设备为同一个设备。同时本端的不同端口接收LACPDU报文中要求Pantner_Port不一致Partner_key一致时则可以聚合成功。
在堆叠方案中两台设备虚拟为一台,控制层面只有一个,两台设备的表项依靠LIPC进行同步,M-LAG方案中依靠M-LAGPDU进行同步,在S-MLAG方案中两台设备控制层面完全独立,路由、ARP、MAC表项是如何同步的呢?
1. 接入层交换机将主机的ARP路由转换成为直连路由,并引入到BGP路由完成路由同步,到达服务器的流量由32位主机路由来引导。
2. 服务器在发送ARP请求和应答需要在聚合的所有成员接口网卡进行发送与接收,又叫做“ARP双发”。实现去堆叠设备的ARP和MAC表项同步。按照流量HASH原理,ARP报文会按照算法选择BOND成员网卡中的一个进行发送,这样去堆叠的两台设备ARP表项就不会同步。这时候需要修改服务器操作系统内核,在发送ARP报文时在所有BOND的成员网卡发送。
在服务器上看聚合接口状态是两个物理网卡聚合在一起的逻辑接口,单条物理线路的UP/DOWN逻辑的接口状态并没有变化,并不能触发服务器发送免费ARP的更新,如果没有32位主机路由的牵引可能会造成流量负载不均衡。所以需要服务器的OS内核进一步优化,当服务器成员接口发生UP/DOWN时,发送免费ARP进行更新。
3. 两台接入交换机连接服务器的三层网关接口MAC地址更改为相同的MAC地址,避免两台设备发送不同的MAC地址造成服务器侧ARP表项反复切换。
为了保障故障快速切换,在网络设备的配置上还需要做如下优化配置:
1.接入设备开启BUM隔离、本地ARP代理,避免在相同TOR接入服务器相互学习到真实MAC的ARP,因为在服务器某一服务器网卡DOWN之后,该TOR的其他服务器访问该服务器还使用真实MAC封装,就会导致访问异常。这时需要TOR交换机开启BUM流量隔离,接入交换机网关开启本地ARP代理功能,在同一TOR下服务器的二层流量也需通过三层转发。
2. 开启TOR上行接口监控。如果TOR的上联接口全部DOWN时,下行接入服务器无法感知到,服务器会继续向故障TOR发送数据。这时需要配置monitor-link监控上行线路,当上行接口全部故障时,关闭下行接口,同时上行接口UP时,下行接口也需要延迟UP。因为上行接口的BGP等路由协议收敛速度远远大于下行接口链路聚合收敛速度,所以需要在上行接口UP时,下行接口延迟UP。
3. 开启ARP主动探测。去堆叠方案中去往服务器的流量都是由32位主机路由进行引导,如果出现静默主机无法生成ARP主机路由的情况,在此种情况下可以通过交换机主动探测ARP功能进行优化。
流量模型
正常运行情况下,Server间通信和Server与Core间通信如图2-3所示。
Leaf下行链路故障时,Server间通信如图2-4所示。
Leaf上行链路故障时,Server间通信和Server与Core间通信如图2-5所示。
Leaf设备故障时,Server间通信和Server与Core间通信如图2-6所示。
S-MLAG典型组网配置限制和指导
与服务器网卡工作模式配合配置指导
服务器网卡使用bond4工作模式时,其接入交换机需要配置动态聚合,且服务器需要支持两个上行口双发ARP使两台接入交换机都能学到服务器的ARP。当服务器侧聚合组任一成员口发生down->up的状态变化时都要发送ARP给接入交换机以便交换机刷新ARP表项并生成主机路由。
服务器网卡使用bond1工作模式(主备模式)时有如下要求:
· 接入交换机采用动态聚合或静态聚合都可以。服务器网卡需要支持接口发生inactive-active状态变化时发送ARP给接入交换机以便交换机刷新ARP表项并生成主机路由。
· 当交换机配置动态聚合时,需要将接入交换机聚合接口配置为聚合边缘接口(lacp edge-port命令)。
· 建议将ARP老化时间配置为30秒,使得服务器网卡接口切换为inactive,但是状态没有down的情况下,交换机能够尽快刷新ARP表项并生成主机路由以减少丢包时间。ARP老化时间不建议配置更小,否则会加重CPU负担。
配置
· Device A:
#
interface Bridge-Aggregation10
link-aggregation mode dynamic
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 10
#
interface Ten-GigabitEthernet1/0/2
port link-mode bridge
port link-aggregation group 10
#
interface Ten-GigabitEthernet1/0/3
port link-mode bridge
port link-aggregation group 10
#
· Device B:
#
lacp system-mac 0001-0001-0001
lacp system-number 1
lacp system-priority 123
#
interface Bridge-Aggregation2
link-aggregation mode dynamic
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 2
#
· Device C:
#
lacp system-mac 0001-0001-0001
lacp system-number 2
lacp system-priority 123
#
interface Bridge-Aggregation3
link-aggregation mode dynamic
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 3
#
· Device D:
#
lacp system-mac 0001-0001-0001
lacp system-number 3
lacp system-priority 123
#
interface Bridge-Aggregation4
link-aggregation mode dynamic
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 4
· Device A:
#
lacp system-mac 0001-0001-0001
lacp system-number 1
lacp system-priority 123
#
interface Bridge-Aggregation1
link-aggregation mode dynamic
lacp edge-port
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 1
#
· Device B:
#
lacp system-mac 0001-0001-0001
lacp system-number 2
lacp system-priority 123
#
interface Bridge-Aggregation2
link-aggregation mode dynamic
lacp edge-port
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 2
#
· Device C:
#
lacp system-mac 0001-0001-0001
lacp system-number 3
lacp system-priority 123
#
interface Bridge-Aggregation3
link-aggregation mode dynamic
lacp edge-port
port s-mlag group 100
#
interface Ten-GigabitEthernet1/0/1
port link-mode bridge
port link-aggregation group 3