opensm inifiniband 多端口 配置 opensm.conf

cat /etc/sysconfig/opensm

这里面是opensm的详细信息,里面提到对于opensm的多端口有两种配置方案:

1) Start opensm on multiple machines and configure it to manage  different fabrics on each machine

2) Configure opensm to start multiple instances on a single  machine

大意是:

1. 在一台机器上启动多个进程,每个进程负责一个网卡口,优点是简单,并且能够为每个端口的策略详细定制

2. 在一个配置文件上指定多个网卡端口,一个进程负责管理这些端口,优点是够简单

我个人推荐方案1

因为:

方案2在遇到主机上有多块HCA卡时会出现错误,我遇到的现象就是交换机亮黄灯,或者ip addr show 的ib网卡状态,有一个是DOWN

方案1:

[root@rac1 log]# cp -a /etc/rdma/opensm.conf  /etc/rdma/opensm.conf.0

[root@rac1 log]# cp -a /etc/rdma/opensm.conf  /etc/rdma/opensm.conf.1

一定要注意,我们要的是Port GUID,不是其他的GUID,因为默认的输出还有system GUID等

[root@rac1 log]# ibstat |grep Port

Port 1:

Port GUID: 0x248a070300001234

Port 1:

Port GUID: 0x248a070300bc5678

编辑 /etc/rdma/opensm.conf.0和 /etc/rdma/opensm.conf.1

[root@rac1 log]# cat /etc/rdma/opensm.conf.0 |grep guid

guid  0x248a070300001234

..........omit............

[root@rac1 log]# cat /etc/rdma/opensm.conf.1 |grep guid

guid  0x248a070300005678

..........omit............

我们复制了 /etc/rdma/opensm.conf.<数字> 这种,opensm就不会去读取默认的 opensm.conf了

方案2:

当机器上只有1块HCA卡,上面有2个端口时,可以采用第二个,因为配置简单:

[root@rac1 log]# ibstat |grep Port

Port 1:

Port GUID: 0x248a070300001234

Port 1:

Port GUID: 0x248a070300bc5678

[root@rac1 log]# cat /etc/rdma/opensm.conf |grep guid

guid  0x248a070300001234

guid  0x248a070300bc5678

..........omit............

重启opensm,当然更推荐直接reboot

systemctl restart opensm