博科&brocade SAN光纤交换机级联配置说明

一、概述

在现实环境中服务器与存储搭建san环境时，为了达到链路的冗余，防止单点故障，一般都需要引进光纤交换机 。同时当业务系统不断增加，光纤交换机端口无法满足日益增长的业务需求时，就需要重新购置光纤交换机，使之与之前的光纤交换机级联，从而达到端口扩容的现实效果。
博科光纤交换机在我司的项目中使用频繁，下面就简单介绍一下博科光纤交换机级联的相关信息。

二、级联准备

1、 部分光纤交换机级联需要官方授权，购买级联license（比如说博科200e光纤交换机）。有些光纤交换机级联license是出厂自带的（比如说博科300光纤交换机）。
2、 搭建级联物理环境。
注意：SAN 交换机级联的要求
在连接之前确认如下信息：
两台 switch 的 domain ID不同
两台 switch 的如下参数相同

switch 的 BB Credit
R_A_TOV
E_D_TOV
Data Field Size
Non-SCSI Tachyon Mode
Disable Device Probing
VC Encoded Address Mode
Disable Translative Mode
Per-Frame Route Priority
Core PID ID

两台switch的Interopmode参数为0；
如果不满足以上条件，请先保存其中一 台switch 的信息，然后在另一台上执行如下操作：

SPAN>
Switch:admin>switchdisable
Switch:admin> configure
Fabric parameters (yes, y, no, n): [no] y
Domain: (1..239) [101] //domain ID不同
BB credit: (1..27) [16] //其余参数默认相同
R_A_TOV: (4000..120000) [10000]
E_D_TOV: (1000..5000) [2000]
WAN_TOV: (0..30000) [0]
MAX_HOPS: (7..19) [7]
Data field size: (256..2112) [2112]
Sequence Level Switching: (0..1) [0]
Disable Device Probing: (0..1) [0]
Suppress Class F Traffic: (0..1) [0]
SYNC IO mode: (0..1) [0]
VC Encoded Address Mode: (0..1) [0]
Switch PID Format: (0..2) [1]
Per-frame Route Priority: (0..1) [0]
Long Distance Fabric: (0..1) [0]
Virtual Channel parameters (yes, y, no, n): [no]
Zoning Operation parameters (yes, y, no, n): [no]
RSCN Transmission Mode (yes, y, no, n): [no]
Arbitrated Loop parameters (yes, y, no, n): [no]
System services (yes, y, no, n): [no]
Portlog events enable (yes, y, no, n): [no]
Configure Application Attributes:
http:
HTTP Enabled (yes, y, no, n): [yes]
snmp:
SNMP Enabled (yes, y, no, n): [yes]
rpc:
RPCd Enabled (yes, y, no, n): [yes]
Committing configuration...done.
bepcpfb704:admin> interopmode
interopMode is 1 //如果是0则不需要修改
bepcpfb704:admin> interopmode 0
The switch effective configuration will be lost when the operating mode is chang
ed; do you want to continue? (yes, y, no, n): [no] y
Committing configuration...done.
Switch:admin>switchenable
Switch:admin> reboot

三、级联步骤

1、 导入级联license

用一根网线 将电脑与博科光纤交换机的网口连接（brocade交换机上只有一个电口网络连接），将电脑的ip设置为10.77.77.77.0网段的ip，博科交换机的默认ip地址为10.77.77.77，通过telnet 10.77.77.77连接到交换机上，用户名为：admin；密码为：password。
登录后，输入wwn命令记下wwn号,如下：

#wwn
WWN：10:00:00:05:1e:41:5c:c1

如果需要官方授权，那么在到货时会有一张纸，上面的密码为：Transaction Key
登录到以下网站：
https://www.switchkeyactivation.com/slkInternet/brocade 
按照步骤申请license。你的激活license选择“Fabric OS Feature Activation（e.g. Trunking ,APM etc .）”
完成后会生成一个license。
登录到交换机上，用licenseshowont FACE='宋体'>来查看现有的license
用swd77：admin> licenseadd xxxxxxxxxxxxxx(博科的激活号)
再用licenseshow查看是否加载成功，如图：

上面两个Unknown license 应该是端口激活license与web管理license。Fabric license则是级联的license。
对于出厂自带的级联license，则无需此步。

 

2、 修改switch domain ID（默认为1）

按照业务需求，将需要级联的光纤交换机的switch domain ID先规划：

A交换机switch domain id 为1；B交换机switch domain id 为2.
修改交换机B domain id步骤如下：

Switchdisable
Configure
pan > Configure...

Fabric parameters (yes, y, no, n): [no] y

Domain: (1..239) [1] 2
R_A_TOV: (4000..120000) [10000] 
E_D_TOV: (1000..5000) [2000] 
WAN_TOV: (0..30000) [0] 
MAX_HOPS: (7..19) [7] 
Data field size: (256..2112) [2112] 

Sequence Level Switching: (0..1) [0] 
Disable Device Probing: (0..1) [0] 
SuppressClass F Traffic: (0..1) [0] 
Per-frame Route Priority: (0..1) [0] 
Long Distance Fabric: (0..1) [0] 
BB credit: (1..27) [16] 

Insistent Domain ID Mode (yes, y, no, n): [no]
Virtual Channel parameters (yes, y, no, n): [no] 
F-Port login parameters (yes, y, no, n): [no] 

Zoning Operation parameters (yes, y, no, n): [no] 
RSCN Transmission Mode (yes, y, no, n): [no] 
Arbitrated Loop parameters (yes, y, no, n): [no] 
System services (yes, y, no, n): [no] 
Portlog events enable (yes, y, no, n): [no] 
ssl attributes (yes, y, no, n): [no] 
rpcd attributes (yes, y, no, n): [no] 
cfgload attributes (yes, y, no, n): [no] 
webtools attributes (yes, y, no, n): [no] 
System (yes, y, no, n): [no] 


WARNING: The domain ID will be changed. The port level br>zoning may be affected

Switchenable

此步骤需要重启光纤交换机。

3、 删除所有的zone信息

做此步骤前做好先对此处zone信息，做好备份，为日后需要恢复做准备。另外删之前需要做好zone的规划，因为级联之后的物理上两台（或多台交换机）在逻辑上就是一台，因此需要从全局把握zone的建立。另外级联端口不可放在zone里面。
首先将所有交换机上的cfgdisable
然后执行cfgclear命令
最后执行cfgsave命令
以上三步可以删除所有的zone信息。
 

4、 新建zone信息

当级联都已经成功后，你会发现级联端口的状态由N-port变为E-port，并且后面会有upstream或downstream。那么可以在其中一台开始建立全局的zone（只需要在其中一台建立）。
新建zone的过程我只能列举一下一种情况使用一个DOMAIN ID：
假设刀箱中BR-SAN SWITCH的 domain id为1，其中0号端口连的一个刀片服务器要同时访问S5600(连接domain id为1在刀箱san switch 1号端口)及S2600（连接在domain id 为3的300上的0号端口），
Zone的划分如下：

Zonecreate “zonename”, “1,0;1,1;3,0”
Cfgcreate “cfgname”, “zonename”
Cfgenable “cfgname”
Cfgsave

其他zone的划分可根据此概念进行操作，凡要互访的设备，将他们经过的端口划进同一个zone里（级联端口除外），级联的情况下交换机在两台设备间的互访过程中可看做透明，不用考虑将交换机间的连接端口划入zone中。
最后级连成功与否的测试方法：
1. 光纤端口的灯正常；
2. 使用串口或者网线进入管理界面后，可以使用如下命令验证：switchshow，fabricshow，zoneshow，
switchshow：级连的端口显示为E-Port，两台机器分别显示为upstream和downstream
fabricshow：可以看到两台交换机，domain ID不一样
zoneshow：如果一台交换机之前没有划分 zone 而另外一台划分了 zone，那么已经划分的 zone 会自动同步到另一台来。

admin> switchshow
switchName: ultimo
switchType: 34.0
switchState: Online
switchMode: Native
switchRole: Subordinate
switchDomain: 2
switchId: fffc02
switchWwn: 10:00:00:05:1e:03:0e:eb
zoning: OFF
switchBeacon: OFF
Area Port Media Speed State Proto
=====================================
0 0 id 4G No_Light
1 1 id N4 No_Light
2 2 id N4 Online F-Port 50:01:10:a0:00:3d:d2:76
3 3 id N4 Online F-Port 50:01:10:a0:00:3d:c9:54
4 4 id N4 Online F-Port 50:06:0b:00:00:60:51:b8
5 5 id N2 Online F-Port 50:00:1f:e1:00:15:19:8c
6 6 id N2 Online F-Port 50:00:1f:e1:00:15:19:8d
7 7 id 1G Online F-Port 10:00:00:00:c9:52:6e:78
8 8 id N4 Online F-Port 50:06:0b:00:00:68:a1:84
9 9 id 1G No_Light
10 10 id 1G Online E-Port 10:00:00:05:1e:02:94:b5 'verbatim'
(upstream)
11 11 id N4 No_Light
12 12 id N4 No_Light
13 13 -- N4 No_Module
14 14 id N2 Online F-Port 50:05:08:b2:00:be:b5:93
15 15 id 1G Online G-Port
admin> fabricshow
Switch ID Worldwide Name Enet IP Addr FC IP Addr Name
-------------------------------------------------------------------------
2: fffc02 10:00:00:05:1e:03:0e:eb 16.158.62.186 0.0.0.0 'ultimo'
3: fffc03 10:00:00:05:1e:02:94:b5 16.158.62.188 0.0.0.0 >'verbatim'
The Fabric has 2 switches
admin> zoneshow
Defined configuration:
cfg: labzonecfg
labzone
zone: EVA6K_Huizhan
EVA6K_ControllerA; EVA6K_ControllerB; Huizhan; Ming; ES47;
zhanguo
zone: SMA_EVA5K
SMA; EVA5K_ControllerA; EVA5K_ControllerB; Huizhan; brute;
centrum; 1,10
alias: ES47 10:00:00:00:c9:55:a6:66
alias: EVA5K_ControllerA
50:00:1f:e1:00:15:19:88; 50:00:1f:e1:00:15:19:89
alias: EVA5K_ControllerB
50:00:1f:e1:00:15:19:8c; 50:00:1f:e1:00:15:19:8d
alias: EVA6K_ControllerA
20:00:00:e0:8b:91:1e:f2; 50:00:1f:e1:50:09:56:68;
50:00:1f:e1:50:09:56:69
alias: EVA6K_ControllerB
20:00:00:e0:8b:91:1e:f2; 50:00:1f:e1:50:09:56:6c;
50:00:1f:e1:50:09:56:6d
alias: Huizhan 50:01:10:a0:00:3d:c9:54; 50:01:10:a0:00:3d:d2:76
alias: MSL2024 20:02:00:17:a4:fd:41:5b
alias: SMA 21:00:00:e0:8b:91:1e:f2
alias: TapLib 10:00:00:e0:02:23:48:d6
alias: brute 50:06:0b:00:00:60:51:b8
alias: centrum 50:06:0b:00:00:60:48:d0
alias: ming 50:06:0b:00:00:68:91:d4
alias: zhanguo 10:00:00:00:c9:52:6e:78
Effective configuration:
no configuration in effect
最容易出现的问题：级连后switchshow显示如下，注意E port：

ultimo:admin> switchshow
switchName: ultimo
switchType: 34.0
switchState: Online
switchMode: Native
switchRole: Subordinate
switchDomain: 2
switchId: fffc02
switchWwn: 10:00:00:05:1e:03:0e:eb
zoning: OFF
switchBeacon: OFF
Area Port Media Speed State Proto
=====================================
0 0 id 4G No_Light
1 1 id N4 No_Light
2 2 id N4 Online F-Port 50:01:10:a0:00:3d:d2:76
3 3 id N4 Online F-Port 50:01:10:a0:00:3d:c9:54
44 id N4 Online F-Port 50:06:0b:00:00:60:51:b8
5 5 id N2 Online F-Port 50:00:1f:e1:00:15:19:8c
6 6 id N2 Online F-Port 50:00:1f:e1:00:15:19:8d
7 7 id 1G Online F-Port 10:00:00:00:c9:52:6e:78
8 8 id N4 Online F-Port 50:06:0b:00:00:68:a1:84
9 9 id 1G No_Light
10 10 id 1G Online E-Port 10:00:00:05:1e:02:94:b5 (e-port segmented incompatible)
11 11 id N4 No_Light
12 12 id N4 No_Light
13 13 -- N4 No_Module
14 14 id N2 Online F-Port 50:05:08:b2:00:be:b5:93
15 15 id br>1G Online G-Port
这很可能是因为上文级联准备输入的参数在两台switch上，按照上文所述方法修改即可。

ultimo:admin> switchdisable
ultimo:admin > configure
……
……
ultimo:admin >switchenable
ultimo:admin > reboot

或者使用交叉网线连接笔记本和switch，使用IE访问switch IP，在管理界面中输入（设switch IP为默认值10.77.77.77）
http://10.77.77.77/swSysAdm.htm
输入用户名和密码（默认值：admin/password），点击上面一排中的configure选项，确认两台switch的configure界面中的参数值一样即可。