目录
1 园区场景M-LAG组网推荐方案
1.1 IRF与M-LAG对比
1.1.1 IRF简介
IRF(Intelligent Resilient Framework,智能弹性架构)的核心思想是将多台设备连接在一起,进行必要的配置后,虚拟化成一台设备。使用这种虚拟化技术可以集合多台设备的硬件资源和软件处理能力,实现多台设备的协同工作、统一管理和不间断维护。
1.1.2 M-LAG简介
M-LAG(Multichassis link aggregation,跨设备链路聚合)是一种跨设备链路聚合技术,将两台物理设备在聚合层面虚拟成一台设备来实现跨设备链路聚合,从而提供设备级冗余保护和流量负载分担。
1.1.3 IRF和M-LAG对比
表1-1为IRF和M-LAG对比,组网可靠性要求高,升级过程要求业务中断时间短的场景推荐使用M-LAG。
需要注意的是,在同一组网环境中,不能同时部署IRF和M-LAG。
表1-1 IRF和M-LAG对比
1.2 M-LAG组网规划方案说明
M-LAG组网根据用户规模分成大型、中型、小型园区三类,区别于各个方案里的EVPN组网,该M-LAG组网规范方案中没有EVPN配置,关于M-LAG+EVPN组网配置举例请参考:“M-LAG+VxLAN分布式网关组网配置举例”和“M-LAG+EVPN VxLAN集中式网关组网配置举例”。各种类型园区的Border设备用来作为与外网互通而进行路由的引入引出。这些配置方案适用于规模较小的组网,客户可以根据自身实际情况参考和采用。
M-LAG典型组网应用方式如下描述:
1.2.1 大型园区
采用三级M-LAG组网,三级分别为:
- Acc对应接入设备组成M-LAG系统,接入设备作为用户网关。
- Agg对应汇聚设备组成M-LAG系统。
- Border/Core对应边界网关/核心合一设备组成M-LAG系统。
如下设备之间采用ECMP(Equal Cost Multiple Path,等价多路径)互连:
- 汇聚设备与接入设备之间。
- 核心设备与汇聚设备之间。
- 外网路由器设备Router与边界网关设备之间。
FW设备与边界网关设备之间采用M-LAG互联。
图1-1 M-LAG三层组网(大型园区)应用示意图
1.2.2 中型园区
采用两级M-LAG组网,两级分别为:
- Acc/Agg对应接入/汇聚合一设备组成的M-LAG系统,汇聚设备作为用户网关。
- Border/Core对应边界网关/核心合一设备组成的M-LAG系统。
如下设备之间采用ECMP互连:
- 核心设备与汇聚设备之间。
- 外网路由器设备Router与边界网关之间。
FW设备与边界网关设备之间采用M-LAG互联。
图1-2 M-LAG三层组网(中型园区)应用示意图
1.2.3 小型园区
采用两级M-LAG组网,两级分别为:
- Acc对应接入设备组成的M-LAG系统。
- Border/Core对应边界网关/核心合一设备组成的M-LAG系统,核心设备作为用户网关。
如下设备之间采用M-LAG互联:
- 核心设备与接入设备之间。
- 边界网关设备与外网路由器设备Router之间。
- FW设备之间采用M-LAG之间。
图1-3 M-LAG三层组网(小型园区)应用示意图
1.3 组网规划注意事项
1. peer-link链路
peer-link链路除了交互协议报文外,还作为上行链路的备份路径。当上行链路故障时,M-LAG设备通过peer-link将流量发给对端M-LAG设备处理。在部署M-LAG过程的peer-link链路过程中需要注意如下事项:
- 聚合组部署注意事项:
- 框式设备上部署M-LAG,建议部署多个业务板的端口加入peer-link接口所在的聚合组
- 框式设备上部署M-LAG,建议peer-link聚合组至少有一个成员口与上行口不在同一单板上。
- 盒式带子卡设备部署M-LAG,建议采用多个子卡上的接口作为peer-link聚合组的成员端口。
- 盒式带子卡设备部署M-LAG,建议peer-link聚合组至少有一个成员口与上行口不在同一子卡上。
- 盒式固定端口设备部署M-LAG,建议至少配置两个物理接口作为peer-link聚合组的成员端口。
- 配置link-delay命令,且配置取值不为0的相同的delay-time,以减少接口震荡对上层业务的影响。
- 速率部署注意事项:
peer-link聚合组的成员端口需要使用相同速率端口。
- 链路类型部署注意事项:
单挂接口的链路类型需要与peer-link接口保持一致,需要配置链路类型为Trunk,否则会出现下挂设备无法通过peer-link链路进行ND协议报文收发,导致流量转发不通。
- 超长帧部署注意事项:
两端M-LAG设备的peer-link接口上允许通过的报文超长帧取值需要相同,否则会导致M-LAG设备间信息同步失败。
- 带宽部署注意事项:
要特别关注存在大量非M-LAG接口接入主机的情况。当非M-LAG接口接入主机分别接入一台M-LAG设备时,同一M-LAG系统下不同M-LAG设备下挂的主机之间的互访流量都需要通过peer-link链路,此时需要计算互访流量的大小以部署合适的peer-link带宽。
2. Keepalive
Keepalive链路通过交互Keepalive报文来进行peer-link故障时的双主检测。
- 建议M-LAG设备间单独建立一条直连链路,作为Keepalive链路,不与其他链路复用,同时需保证该链路二三层均可达。
- Keepalive链路接口可以为管理用以太网接口、三层以太网接口、三层聚合接口、绑定VPN实例的接口。
- 不建议使用VLAN接口作为Keepalive链路接口,如确有此使用需求,需要将对应VLAN从peer-link链路允许通过的VLAN中去掉,否则peer-link链路和Keepalive链路之间会形成环路。
- 对于多单板/多子卡设备:建议和peer-link链路接口部署在不同的单板/子卡上。
- Keepalive链路接口(包括物理口和逻辑口)请务必配置为M-LAG保留接口(当peer-link链路故障时不会被MAD down)。
3. M-LAG接口
M-LAG接口作为与外部设备相连的二层聚合接口。与外部设备上相同聚合组相连的M-LAG接口属于同一M-LAG组(Distributed-Relay group,分布式聚合组)。部署需要注意如下事项
- 同一M-LAG组中,M-LAG接口的LACP系统MAC地址不能相同。
- 在M-LAG组网中,建议LACP超时时间采用缺省值,即LACP超时时间为长超时(90秒),通过undo lacp period命令配置。
4. M-LAG保留接口
peer-link故障但Keepalive链路正常会导致从设备上除M-LAG保留接口和IRF保留接口以外的接口处于M-LAG MAD DOWN状态。为避免接口被置为M-LAG MAD DOWN状态,需要部署保留接口。传统Underlay组网中,M-LAG保留接口的部署要求:
- 缺省情况下,M-LAG系统分裂后接口处于M-LAG MAD DOWN状态,即m-lag mad default-action down命令生效(此命令为缺省配置,无需手工配置)。
- M-LAG接口和peer-link接口所在VLAN对应的VLAN接口需要通过m-lag mad exclude interface命令配置为M-LAG保留接口,M-LAG系统分裂后,这些端口不Down。
- Keepalive链路的接口需要通过m-lag mad exclude interface命令配置为M-LAG保留接口,M-LAG系统分裂后,这些端口不Down。
- 上行接口(路由口、VLAN接口、物理接口)不需要通过m-lag mad exclude interface命令配置为M-LAG保留接口,M-LAG系统分裂后,这些端口会Down。
配置M-LAG保留接口的方法有如下两种:
- 执行m-lag mad default-action down(缺省)命令使M-LAG系统分裂后接口处于M-LAG MAD DOWN状态,然后通过m-lag mad exclude interface命令将需要保持UP状态的接口配置为M-LAG保留接口。如果存在大量逻辑接口(除物理接口外的所有接口,例如VLAN接口、聚合接口、Loopback接口)需要在M-LAG系统分裂后可以正常工作,则可以使用m-lag mad exclude logical-interfaces命令配置所有逻辑接口为M-LAG保留接口。
- 执行m-lag mad default-action none命令使M-LAG系统分裂后设备上的接口保持原状态不变,然后再使用m-lag mad include interface命令配置M-LAG系统分裂后需要处于M-LAG MAD DOWN状态的接口。
1.4 组网配置限制和指导
1. M-LAG互通限制
M-LAG不支持与友商互通。
2. M-LAG基本配置限制和指导
- 目前仅支持两台设备组成一个M-LAG系统。为了能够让上行或下行设备将M-LAG组中的两台设备看成一台设备,要求同一M-LAG组中所有M-LAG设备配置相同的系统MAC地址和系统优先级,配置不同的系统编号。
- M-LAG组网环境中,M-LAG系统的MAC地址需要唯一。
- 设备上部署M-LAG配置后,如果该设备脱离M-LAG系统独立工作,则需要删除M-LAG相关配置,避免影响报文转发。
- 如果因为M-LAG设备业务切换、故障替换等原因需要批量关闭设备上所有的物理端口,请注意先关闭Keepalive链路物理端口再关闭peer-link链路物理端口,否则会出现备设备先被MAD Down然后再被解除MAD Down,M-LAG成员接口震荡的现象。
3. peer-link接口配置指导
将聚合接口配置为peer-link接口时自动下发灰色部分配置,该配置属于属性类配置。因此将聚合接口配置为peer-link接口,然后配置成员端口加入聚合组时,由于属性类配置不同导致成员端口不能加入聚合接口。鉴于此需要先将成员端口加入聚合组,再将聚合接口配置为peer-link接口。
[H3C-Bridge-Aggregation11]display this
#
interface Bridge-Aggregation11
port link-type trunk
port trunk permit vlan all
port m-lag intra-portal-port 1
#
return
[H3C-Bridge-Aggregation11]
4. m-lag restore-delay命令配置要求
m-lag restore-delay命令用来配置设备作为Secondary设备加入分布式聚合系统时进行MAC地址表项等信息同步的最大时间。定时器超时之前,业务口(除peer-link接口、管理以太网口、IRF物理端口、保留接口外的接口)状态为M-LAG MAD DOWN。定时器超时后,业务口状态变为up。管理员需要根据M-LAG设备上的表项大小,合理调整延迟恢复时间。如果M-LAG设备间需要同步的表项较少,则适当减少延迟时间;如果M-LAG设备间需要同步的表项较多,则适当增加延迟时间。默认情况下,该定时器超时时间为30秒;一般情况下,建议配置为300秒;S7500X/S10500X/S12500G-AF的ARP表项接近48K规格时,延迟时间需要配置为900秒。
5. MDC
MDC不支持M-LAG。
6. GIR
在M-LAG组网环境中,通过GIR功能将设备从维护模式切回到普通模式,请先执行display m-lag mad verbose命令确认设备接口状态未处于“M-LAG MAD DOWN”状态,再执行undo gir system-mode maintenance命令。
7. MAC地址
在M-LAG组网环境中,在设备存在大量MAC地址表项时,请通过mac-address timer aging命令调整MAC地址老化时间,建议配置MAC地址老化时间在20分钟以上。
二层以太网接口加入peer-link接口对应聚合组后,该接口的如下功能会自动关闭,无需手工配置;接口退出peer-link接口对应聚合组后,这些功能将强制恢复为缺省的开启状态:
- 报文入接口与静态MAC地址表项匹配检查功能(mac-address static source-check enable)
- 接口的MAC地址学习功能(mac-address mac-learning enable)
8. 链路聚合
请勿在M-LAG组网环境开启全自动聚合功能。
配置聚合接口加入S-MLAG组后,该聚合接口不能再配置为M-LAG接口或peer-link接口。
聚合管理网段功能不能和M-LAG结合使用。
当聚合接口配置为M-LAG接口时,请注意:
- 该聚合接口上最大选中端口数和最小选中端口数的配置不生效。
- 通过display link-aggregation verbose命令显示该聚合接口详细信息时,显示信息中SystemID为分布式聚合配置的M-LAG系统MAC和M-LAG系统优先级。如果参考端口在M-LAG接口上,则两台M-LAG设备上会各显示一个参考端口。
9. 端口隔离
端口隔离只需要将端口加入到隔离组中,就可以实现隔离组内端口之间二层隔离,而不用关心这些端口所属VLAN。peer-link接口和M-LAG接口不能加入同一隔离组中。
10. CFD
在使用远端MEP的MAC地址进行其它CFD各项功能测试之前,若本端内向MEP和远端MEP中间链路存在二层聚合接口,请勿将该二层聚合接口配置为peer-link接口,否则会造成这些测试功能失效。
11. Smart Link
在M-LAG组网中,请确保两台M-LAG设备的Smart Link配置完全一致。请勿将M-LAG接口和非M-LAG接口加入同一个Smart Llink组,否则M-LAG接口在Smart Link组中将不会生效;请勿将peer-link接口加入Smart Link组,否则该端口在Smart Link组中将不会生效。
12. 镜像
设备同时配置镜像和M-LAG时,请注意避免出现镜像源端口为聚合组A的成员端口,镜像目的端口、出端口或反射端口为聚合组B的成员端口,以免聚合组B成员端口接收到聚合组A成员端口的镜像LACP报文,引起聚合接口震荡。
2 M-LAG部署网络模型
2.1 M-LAG二层组网部署方案
2.1.1 M-LAG+STP
1. 部署方案
在M-LAG组网中,针对几种常见的引发环路的故障,可以预先部署一些对应的STP配置,以避免环路的产生;如果配置PVST,则运行PVST的M-LAG设备必须与运行Rapid PVST或PVST的第三方设备互通。如果配置MSTP,则没有此要求。
图2-1 网络防环STP部署方案要点示意图
表2-1 网络防环STP部署方案说明
2. 配置限制和指导
在M-LAG场景中,由于M-LAG设备对外呈现为一台设备,所以两台M-LAG设备上STP的相关配置需要保持一致,包括生成树全局配置、M-LAG接口和peer-link接口的生成树端口配置。在M-LAG组网中,peer-link接口不参与生成树拓扑计算。
为了避免M-LAG系统分裂影响STP拓扑计算,可以在M-LAG设备上使用m-lag standalone enable命令开启M-LAG设备独立工作功能。
2.1.2 M-LAG+环路检测
设备通过发送环路检测报文并检测其是否返回本设备(不要求收、发端口为同一端口)以确认是否存在环路。若某端口收到了由本设备发出的环路检测报文,就认定该端口所在链路存在环路。
在M-LAG组网环境中部署环路检测,以便在网络中存在环路时设备可以自动关闭设备上出现环路的端口,并及时通知用户检查网络环境。如图2-2所示,M-LAG 1和M-LAG 2部署环路检测(全局开启VLAN 100的环路检测功能或M-LAG接口开启VLAN 100的环路检测功能),Device C、M-LAG系统、Device D和Device E组成一个物理上的环路,M-LAG 1和M-LAG 2上可以检测到BAGG4和BAGG5上存在环路并根据环路检测处理模式的配置进行处理。
需要注意的是:在M-LAG组网环境中,M-LAG设备上的环路检测相关配置要保证一致。
图2-2 M-LAG应用环路检测示意图
2.2 M-LAG三层组网部署方案
2.2.1 网关部署方案概述
M-LAG设备为M-LAG接口连接的终端提供网关接入的方式和适用场景如下所示。
表2-2 M-LAG三层组网部署方案
2.2.2 M-LAG VLAN双活网关方案
在M-LAG设备上部署VLAN双活网关,为用户侧提供冗余备份的网关。
图2-3 M-LAG VLAN双活网关部署方案
表2-3 M-LAG VLAN双活网关方案说明
2.2.3 M-LAG+VRRP网关方案
1. 部署方案
在M-LAG设备上部署VRRP,为用户侧终端提供冗余备份的网关。
图2-4 M-LAG+VRRP网关方案
表2-4 M-LAG+VRRP网关方案说明
2. 配置限制和指导
在M-LAG和VRRP组网环境下,需要确保vrrp vrid timer advertise命令和vrrp ipv6 vrid timer advertise命令配置的时间间隔大于m-lag keepalive hold-time配置的时间间隔,否则在确认peer-link链路故障前可能会进行VRRP主备切换,导致流量丢失。
建议配置IPv4/IPv6 VRRP备份组中的路由器工作在非抢占方式,避免频繁切换Master路由器。
2.2.4 路由配置限制和指导
1. Router ID
对于路由协议来说,两台M-LAG设备是独立设备,需要配置不同的Router ID。请手工配置Router ID,否则设备会自动选择Router ID,可能会出现Router ID冲突的情况。
2. NSR
在双主控设备上需要配置路由协议的NSR。
3. OSPF/OSPFv3配置要求
为了保证流量收敛时间,建议进行如下配置:
- 所有设备上在用于建立OSPF/OSPFv3邻居的接口上请配置ospf network-type p2p/ospfv3 network-type p2p。
- 针对设备链路故障时发生的路由撤销及路由切换场景收敛时间优化,在所有设备上的OSPF/OSPFv3视图下需要配置spf-schedule-interval 1 10 10和lsa-generation-interval 1 10 10。
- 针对设备重启后的收敛时间优化,需要在所有设备的OSPF/OSPFv3视图下配置:
- OSPF视图:stub-router include-stub on-startup,盒式设备建议配置时长为300秒,框式设备建议配置时长为300秒以上,满插单板的情况建议配置900秒或以上。
- OSPFv3视图:stub-router max-metric include-stub on-startup,盒式设备建议配置时长为300秒,框式设备建议配置时长为300秒以上,满插单板的情况建议配置900秒或以上。
- 路由量较大或对端设备收敛比较慢的情况下,建议进行如下配置:ospf/ospfv3 peer hold-max-cost duration命令配置通告给邻居的链路开销值保持最大值的持续时间。
4. IPv4/IPv6 ISIS配置要求
为了保证流量收敛时间,路由量较大或对端设备收敛比较慢的情况下,建议进行如下配置:
- isis peer hold-max-cost duration命令配置通告给邻居的链路开销值保持最大值的持续时间。
5. BGP配置要求
为了保证流量收敛时间,路由量较大或对端设备收敛比较慢的情况下,建议进行如下配置:
- 配置bgp apply-policy on-startup duration seconds为BGP应用启动策略并通过bgp policy on-startup med命令配置启动策略中的MED值,seconds值需大于本设备与对接设备建立邻居的时间。
2.3 管理网部署方案分析
管理网的部署推荐带外管理。带外管理指使用设备的管理用以太网口管理设备。管理用以太网口不在设备上的转发芯片上,因此设备的转发故障不影响管理功能。大部分H3C园区设备提供两个管理用以太网接口(各设备管理用以太网口数目请参考表2-5),也能很好的实现管理网络的可靠性。
Border、Core、Agg、Acc等设备通过管理用以太网接口连接带外管理网交换机,带外管理网提供网关支持。
图2-5 带外管理示意图
3 M-LAG可靠性部署方案
3.1 M-LAG系统上行链路故障可靠性部署
上行链路故障可靠性部署有两种配置方式:
- 路由配置方式
两台M-LAG设备之间通过peer-link链路VLAN的VLAN接口建立路由邻居,当上行链路故障时,流量通过peer-link发送给对端M-LAG设备转发。
- 如果单级M-LAG组网,下行设备M-LAG接入,上行设备ECMP接入,则M-LAG设备间需要部署逃生链路。
- 如果是多级M-LAG组网,则下级M-LAG系统(二层)的M-LAG设备间不需要部署逃生链路。
- Monitor Link配置方式
配置Monitor Link后,上行链路故障时触发下行链路切换。本方式适用于跨peer-link流量较大,peer-link带宽存在瓶颈的情况。
3.2 M-LAG系统可靠性部署方案
在M-LAG组网中,需要进行可靠性的规划和相应的配置。
图3-1 M-LAG节点可靠性部署方案要点示意图
表3-1 M-LAG可靠性部署方案说明