交换机堆叠和集群配置与管理——2

CSS基础

通过交换机集群能够实现数据中心大数据量转发和网络高可靠性。在华为S系列交换机中，集群技术称为CSS（Cluster Switch System，集群交换系统）。

集群技术一般仅应用于高端交换机系统，主要用于提高单台交换机的转发性能和可靠性。高端交换机主要应用于核心层，更需要交换机转发性能和可靠性的提高。低端的iStack技术主要是扩展端口。

CSS目前仅支持两台交换机的集群。

一、CSS基本概念

集群建立前，每台交换机都是单独的实体，有自己独立的IP地址和MAC地址，对外体现为多台交换机，用户需要独立的管理所有的交换机；集群建立后集群成员对外体现为一个统一的逻辑实体，用户使用一个IP地址对集群中的所有交换机进行管理和维护。

在华为CSS集群中主要涉及以下基本概念：

1、角色

集群中两台交换机都称为成员交换机，按照功能不同，分为：

（1）主交换机：显示为Master，负责管理整个集群系统。集群中只有一台主交换机。

（2）备交换机：显示为Standby，是主交换机的备份交换机。集群中只有一台备交换机。

2、集群ID

CSS集群中各成员交换机也有对应的集群ID，都是唯一的。

3、集群优先级

涉及主交换机的选举，各成员交换机都有对应的“集群优先级”属性。优先级值越大优先级越高。

4、集群物理成员端口

集群物理成员端口是指交换机LPU（LineProcessing Unit，线路处理单元）单板上专用于集群连接的物理端口。集群物理成员端口用于转发需要跨成员交换机的业务报文或成员交换机之间的集群协议报文。

5、集群端口

是指用于业务口集群连接方式的逻辑端口，需要和集群物理成员端口绑定。集群的每台成员交换机支持两个集群端口，为CSS-Portn/1和CSS-Portn/2，n为成员交换机的集群ID。

二、CSS特性的产品支持

仅S7700和S9700支持CSS集群，且只支持两台机的集群。

集群特性包括集群建立、集群的管理和维护、集群快速升级和集群双主检测等。

1、集群线缆的连接

连接方式有集群卡连接和业务口连接。

（1）集群卡连接

每台交换机上必须配置两块同类型的RPU（RouteProcessing  Unit，路由处理单元）主控板，即都是SRUA或SRUB；两台交换机之间可配不同类型的SRU主控板，然后在每块SRU主控板上插入专门的集群卡。

在这种集群连接方式中，集群成员交换机之间通过SRU主控板上插入的集群卡连接（每块集群卡上有4个集群口）。在两台交换机都有两块主控板的情况下，通过专用的集群电缆QSFP+高速线缆或QSFP+光模块和光纤将这个8组集群口按照下图规则连接起来。集群口连接规则是固定的，所有集群接口都要插上集群线缆，且不能随意连接。

（2）业务口连接

在业务口连接方式中，集群成员交换机之间通过LPU单板上的普通业务口连接，无需SRU主控板上插入专门的集群卡。

业务口集群连接方式是将LPU上的业务口配置为集群物理成员端口后加入逻辑集群端口，然后通过SFP+光模块和光纤或SFP+集群线缆将集群物理成员端口按照5-16规则连接起来。对于业务口连接方式，每台交换机可以插上一块或者两块SRU主控板。主持配置业务口连接方式的主控板有SRUA、SRUB和SRUD。

业务口集群方式具有灵活的组网形式，每块单板最多可配置32个集群物理成员端口。按照链路的分布，又有两种组网形式。

（1）1+0组网：配置一个逻辑集群端口，物理集群端口分布在一块单板上，依靠一块单板上的集群链路实现集群连接。

（2）1+1组网：配置两个逻辑集群端口，物理集群端口分布在两块单板上，不同单板上的集群链路形成备份，如5-16

为保证集群系统稳定，连线时要注意：

（1）每个逻辑集群端口下加入的物理集群端口数量不限，但是一个逻辑集群端口下的物理集群端口只能与对端交换机的一个逻辑集群端口下物理集群口相连，不允许混连，避免下图的连接方式（SwitchA中的同一个逻辑集群端口下的物理端口与对端SwitchB的两个SRU单板上的物理端口连接了）：

（2）在1+1组网中，建议两块单板上的集群链路数量保持一致，并且使用相同端口速率的单板来配置物理集群端口。

2、集群建立

在建立CSS集群时，成员交换机间相互发送集群竞争报文，选举出主交换机，负责集群系统的管理。主交换机选举规则：

（1）运行状态比较，已经运行的交换机优先处于启动状态的交换机竞争为主交换机。

（2）如果两台交换机都处于启动状态，则进行集群优先级比较，集群优先级高的交换机优先竞争为主交换机。

（3）如果集群优先级也一样，则进行MAC地址比较，MAC地址小的成员交换机竞争为主交换机。

（4）如果MAC地址一样，则进行集群ID比较，集群ID小的成员交换机优先竞争为主交换机。

选举成功后，如果主备交换机的软件版本号不一致，则备交换机将同步主交换机的软件版本，复位重启后加入集群系统。

3、集群的管理和维护

CSS集群建立后，所有的成员交换机组成一台虚拟交换机存在于网络中，所有成员交换机的资源由主机统一管理。用户可以通过LPU接口板上的业务口、系统主用主控板上的串口或管理网口登录集群系统，对整个集群系统进行管理和维护。

在CSS集群建立后，各成员交换机上的接口编号要进行对应的修改，需要加上成员ID进行区别。对于单台没有运行集群的交换机接口编号采用的格式为槽位号/子卡号/端口号，共三部分；交换机加入集群后接口编号采用的格式为集群ID/槽位号/子卡号/端口号，共四部分。

在集群环境下，业务流量转发与单机环境下不同，跨交换机的转发需要经过交换网两次，不是直接从集群内部的一台交换机转发到另一台交换机上。

4、配置文件的备份与恢复

交换机从非集群状态进入集群状态后，会自动将原来的非集群状态下的配置文件进行备份，自动将原来的配置文件加上.bak的扩展名。

5、集群分裂

在CSS集群建立后，主、备交换机之间定时发送心跳报文来维护集群系统的状态，集群电缆发生故障可能会使两台交换机失去通信，两台交换机之间的心跳报文超时，此时集群系统将分裂为两台独立的交换机。

CSS集群系统分裂后，若两台交换机都在正常运行，其全局配置完全相同，会以相同的IP和MAC地址与网络中的其他交换机交互，导致IP地址和MAC地址冲突，引起整个网络故障，需要依靠集群双主检测（DAD）解决。

6、双主检测

双主检测（Mad Detect，DAD），是一种检测和处理集群分裂的协议，可以实现集群分裂的检测、冲突处理和故障恢复，降低集群分裂对业务的影响。

CSS集群的双主检测方式也有“直连检测”和“Relay代理检测”两种方式。

7、快速升级

集群快速升级提供一种在集群系统的成员交换机软件版本升级过程中不中断当前转发业务的机制，减少升级交换机对业务的影响。

在集群进行快速升级时，备交换机将先以新版本重新启动，完成升级，此时数据流量由主交换机转发。在备交换机升级的过程中主交换机将触发集群分裂并变成一个单机集群的系统。备交换机升级后，备交换机升级为主交换机，转发数据流量，此时原主交换机以新版本重新启动，完成升级后成为集群系统的备交换机。

为确保在集群升级过程中不出现数据流中断的现象，需要确保与集群相连的交换机使用双线冗余链接方式，也就是分别与主、备交换机都有直接的链路链接，一般是通过跨集群交换机的Eth-Trunk链路来实现的。

如上图其他交换机都与集群中的两台交换机通过Eth-Trunk链路直接的链接。

另外，需要在集群中配置本地流量优先转发功能，使得数据在升级过程中直接从当前当担主交换机角色的交换机上转发。

CSS集群配置与管理

一、配置注意事项及缺省配置

1、配置注意事项

（1）建议使用相同端口速率的单板配置业务口集群，不同单板可能会导致跨集群交换机的流量转发不稳定。

（2）对于一块配置物理集群口的单板，在组网时建议不要部署跨集群交换机转发业务，因为来自其他业务口的跨集群交换机业务流量本板优先转发，不进行板间负载均衡。

（3）业务口集群支持FSU（FlexibleService Unit，灵活服务单元）子卡，使用FSU子卡时，集群系统中的主板必须同时插上FSU子卡。

2、业务口配置为集群物理成员端口后支持的命令

l  Set flow-stat interval

l  Description（接口视图）

l  Log-threshold

l  Trap-threshold

l  Display interface

l  Display interface brief

l  Display interface description

l  Display counters

l  Reset counters interface

l  Reset counters if-mib interface

l  Set flow-statistics include-interfeame

3、缺省配置

二、CSS集群配置任务

CSS集群的最基本配置包括几个方面：使能功能，指定集群端口，配置集群ID和集群优先级，以及其他可选配置任务。

当重启交换机集群建立后，用户可根据需要选择性配置故障恢复时接口延时Up功能、集群系统MAC地址、交换机快速升级等。

    1、配置集群ID

集群中的两台交换机拥有不同的集群ID，分别为1或2，相同ID的两台交换机不能建立集群。缺省情况下，交换机的集群ID都是1，所以在建立集群前，需要手工配置集群中的一台交换机集群ID为2.集群建立后，切勿修改交换机的集群ID，否则将导致集群分裂。

2、配置集群连接方式

CSS集群成员交换机之间的链接方式有“集群卡连接”和“业务口连接”两种，集群卡连接方式是集群成员交换机之间通过SRU主控板上的集群卡连接；业务口链接方式是集群成员交换机之间通过LPU上的普通业务口连接。两种链接方式互斥。

3、配置集群端口（仅采用业务口链接方式时需要）

在建立业务口连接方式的集群时需要指定单板上的一个或多个端口为集群物理成员端口，并加入逻辑集群端口。

4、（可选）配置集群优先级

集群优先级主要用于角色选举过程中确定成员交换机的角色，优先级值越大表示优先级越高。缺省交换机的集群优先级为1。

5、（可选）强制指定集群主交换机

通常集群主交换机是在集群系统建立时两台交换机通过竞争产生的，具有不确定性。用户可通过命令方式强制指定其中一台交换机为集群系统的主交换机。

6、使能集群功能

关闭两台交换机电源，连接集群中两成员交换机。注意采用集群卡链接方式按照图5-24连接，采用业务口连接方式按照5-16连接。开启两交换机电源，进入系统后分别使能集群功能。通过save保存配置，通过reboot或手工重启交换机，以使配置生效。

7、（可选）配置故障恢复时接口延时Up功能

在交换机集群情况下，如果交换机发生故障会导致集群端口和部分业务口Down。当集群恢复时，Down的端口系统会马上进行配置恢复等流程，此时系统CPU一般占用率很高，可以配置接口延时Up功能。

8、（可选）配置集群系统MAC地址

集群系统建立后，如果重新启动，或者对主控板拔插更换操作，集群系统的MAC地址可能发生变化。用户组件集群后，如果希望集群系统的MAC地址保持不变时，可通过命令将集群系统MAC地址设置成某个成员交换机的MAC地址，使得集群系统重启后的MAC地址固定为此成员交换机MAC地址。

9、（可选）配置交换机快速升级

可通过命令对集群系统进行版本快速升级。

三、配置CSS集群

配置方法要区分两种不同的集群连接方式

示例：设置2号成员交换机上5号槽位的接口板上的XGigabitEthernet2/5/0/1接口为集群物理成员端口，并加入逻辑集群端口2/1。

<Huawei>system-view

[Huawei]interface css-port 2/1

[Huawei-css-port2/1]port interfacexgigabitethernet 2/5/0/1 enable

示例：设置下次启动系统软件，进行快速升级

<Huawei>startup system-softwareV200R002C00.cc all

<Huawei>css fast upgrade

四、CSS集群管理

1、display cssstatus [saved] [all | chassis chassis-id]查看系统的集群状态信息，包括成员交换机的集群ID、集群优先级、集群使能状态和集群状态。

2、display csssystem-mac查看集群系统的MAC地址

3、display cssport port-id查看集群卡方式集群的指定集群接口的状态统计信息。

4、display csscss-port [saved] [all | chassis chassis-id]查看业务口集群的逻辑集群端口、集群物理成员端口的配置信息。

5、display css channel[chassis chassis-id | all]查看集群链路的连线信息以及状态信息。

6、resetcounters css port [port-id]清除集群卡链接方式的集群端口的状态统计信息。

五、集群卡连接方式CSS配置示例

S7700和S9300E系列支持集群卡连接方式的CSS。以S7700为例。

（1）每台成员交换机上必须配置同类型的SRU主控板，即都是SRUA或SRUB。

（2）确认每台成员交换机上每块主控板上都插入了集群卡。

（3）两台成员交换机之间已经用专用的集群电缆连接。

（4）两台成员交换机都能正常启动。

（5）两台成员交换机的VRP系统软件版本一致。

 

如上图拓扑，SwitchA和SwitchB组成集群系统，SwitchC连接用户，并通过Eth-Trunk1连接到集群系统。集群系统通过Eth-Trunk2接入OSPF网络。

1、配置思路

只需按图5-14连线规则通过专门的集群卡和集群电缆将两台S7700成员交换机的堆叠端口连接起来，然后配置CSS集群基本功能，建立CSS集群。基本配置思路：

（1）      配置两台成员交换机的集群ID和集群优先级

（2）      使能两成员交换机的集群功能。

2、具体配置步骤

先设定SwitchA为集群主交换机，这样就只需修改SwitchA的集群优先级为大于1，SwitchB的集群优先级保持缺省1；修改SwitchB的集群ID为2，SwitchA的集群ID保持缺省1，然后在两成员交换机上启用集群功能即可。

（1）配置SwitchA的集群优先级为200，并使能CSS集群功能。

<HUAWEI>system-view

[HUAWEI]sysname SwitchA

[SwitchA]set css priority 200

Info:CSS config has been changed,needreboot to take effect.

[SweitchA]css enable

Reboot needed to change CSS config .Are yousure this operation and reboot now?[Y/N]y

[SwitchA]quit

<SwitchA>save

<SwitchA>reboot

    （2）配置SwitchB的集群ID为2，并使能CSS集群功能。配置完成后要立即保存配置，然后重启交换机使配置生效。

HUAWEI>system-view

[HUAWEI]sysname SwitchB

[SwitchB]set css id 2

Info:CSS config has been changed,needreboot to take effect.

[SweitchB]css enable

Reboot needed to change CSS config .Are yousure this operation and reboot now?[Y/N]y

[SwitchB]quit

<SwitchB>save

<SwitchB>reboot

    重启后再主交换机SwitchA上通过displaycss status查看两成员交换机上的CSS状态。

六、业务口连接方式CSS集群配置示例

S7700、S9300和S9700系列交换机都支持业务口连接方式的CSS集群配置。如下拓扑，SwitchA和SwitchB两台交换机组成集群系统，两台交换机上的普通业务口XGE1/0/1和XGE1/0/2都加入集群端口。CSS集群通过Eth-Trunk链路与相连的网络交换机实现跨交换机的聚合链路连接。

 1、配置思路

按照图5-16连线规则通过专门的集群电缆或者SPF+光纤将两台S700系列成员交换机的集群物理成员端口连接起来，然后配置CSS集群基本功能，建立CSS集群。

（1）分别配置两成员交换机的CSS集群连接方式为业务口连接方式。

（2）分别配置两成员交换机的集群ID和集群优先级

（3）配置集群端口，并在集群端口中加入实例中所指定的两个物理成员端口，以增加集群链路的带宽和可靠性。

（4）使能两成员交换机的CSS，保存配置，并重启交换机，以使配置生效。

2、具体配置步骤

（1）配置SwitchA的集群优先级为200，集群链接方式为业务口链接方式

<HUAWEI>system-view

[HUAWEI]sysnameSwitchA

[SwitchA]set csspriority 200

[SwitchA]set cssmode lpu

（2）配置SwitchB的集群ID为2，集群链接方式为业务口链接方式

<HUAWEI>system-view

[HUAWEI]sysnameSwitchB

[SwitchB]set cssid 2

[SwitchB]set cssmode lpu

（3）在两成员交换机上配置逻辑集群端口（两交换机的集群端口号分别为1/1和2/1），并在集群端口中各自添加XGE1/0/1~XGE1/0/2这两个成员物理端口。

[SwitchA]interfacecss-port 1/1

[SwitchA-css-port1/1]portinterface xgigabitethernet 1/0/1 to xgigabitethernet 1/0/2 enable

[SwitchB]interfacecss-port 2/1

[SwitchB-css-port2/1]portinterface xgigabitethernet 1/0/1 to xgigabitethernet 1/0/2 enable

（4）在两台交换机上分别使能集群功能，并分别使用save用户视图命令保存配置，使用reboot用户视图命令重启两交换机，使配置生效。

[SwitchA]cssenable

[SwitchA]quit

<SwitchA>save

<SwitchA>reboot

[SwitchB]cssenable

[SwitchB]quit

<SwitchB>save

<SwitchB>reboot

（5）两交换机重启后，在主交换机SwitchA上通过display css status查看两成员交换机上的CSS状态，通过display css channel命令查看集群端口连线信息。

七、CSS集群直连方式DAD配置示例

当集群链路发生故障导致集群分裂时，网络中存在两个配置冲突的集群系统，需要启用双主检测功能，减少集群分裂给网络到来的影响。

如上图拓扑，SwitchA和SwitchB组成集群系统，SwrichA的集群ID为1，SwitchB的集群ID为2。配置集群系统的接口GigabitEthernet1/1/0/5和GigabitEthernet2/1/0/5直连检测方式的DAD功能。

直连方式双主检测的配置方法很简单，只需在两台集群成员交换机中直接连接用于双主检测的端口（本例为G1/1/0/5和G2/1/0/5端口）上启用直连方式双主检测功能即可。

（1）在SwitchA上配置接口GigabitEthernet1/1/0/5采用直连检测方式的DAD功能。

<HUAWEI>system-view

[HAUWEI]interface gigabitethernet 1/1/0/5

[HUAWEI-GigabitEthernet1/1/0/5]mad detect modedirect

    （2）在SwitchB上配置接口GigabitEthernet2/1/0/5采用直连检测方式的DAD功能。

<HUAWEI>system-view

[HAUWEI]interface gigabitethernet 2/1/0/5

[HUAWEI-GigabitEthernet2/1/0/5]mad detect modedirect

通过display mad verbose查看集群系统DAD详细配置信息

八、CSS集群Relay代理方式DAD配置示例

如上拓扑，SwitchA和SwitchB组成集群系统，SwitchA和SwitchB通过Eth-Trunk接口与上、下游交换机相连。配置SwitchC作为DAD代理交换机，Eth-Trunk1为集群与SwitchC之间连接使用的接口，采用Relay代理方式实现双主检测。

    采用Relay代理方式双主检测的配置方法是先配置集群系统与代理交换机SwitchC相连的Eth-Trunk接口上分别启用Relay代理检测方式DAD功能。

    （1）在集群交换机上配置Eth-Trunk1接口，并使能Relay代理方式双主检测功能（需要在集群主交换机上配置）

<HUAWEI>system-view

[HUAWEI]interface eth-trunk 1

[HUAWEI-Eth-Trunk1]trunkportgigabitethernet 1/5/0/1

[HUAWEI-Eth-Trunk1]trunkportgigabitethernet 2/5/0/1

[HUAWEI]mad detect mode relay

    （2）在代理交换机SwitchC上配置Eth-Trunk1接口，并使能Relay代理方式双主检测功能。

<HUAWEI>system-view

[HUAWEI]sysname SwitchC

[SwitchC]interface eth-trunk 1

[SwitchC-Eth-Trunk1]trunkportgigabitethernet 1/0/1

[SwitchC-Eth-Trunk1]trunkportgigabitethernet 1/0/2

[SwitchC-Eth-Trunk1]mad relay

配置完成后通过display mad verbose在集群主机上查看集群双主检测详细配置信息，通过display mad proxy在代理交换机上查看代理信息。