查看roce还是IB
ibstatus
InfiniBand代表是IB网络,Ethernet代表是roce网络
一、IB网络禁用网络端口
查看port 、Base lid、SM lid
IB网络禁用的方式:
ibportstate -C ibp175s0 -P 1 256 1 disable
ibportstate -C ibp216s0 -P 1 352 1 disable
IB网络恢复的方式
ibportstate -C ibp175s0 -P 1 256 1 enable
ibportstate -C ibp216s0 -P 1 352 1 enable
二、roce网络禁用网络端口
问题: ibportstate关闭端口, 依赖lid, 但是采用Ethernet协议时,不使用lid,ibportstate这个命令对roce无效。 RoCE网络里怎么模拟拔线?
方案:
先调整好配置, 让端口可以不keep up, 不然模拟关闭的时候会报错, 所有端口执行完, 重启服务器让配置生效。 【】里面的是要自己根据实际环境填。
第一个【】代表网卡设备id, 第二个代表ibstat查询到的Port id(一般情况下都是1)
mlxconfig -d 【c1:00.0】 set KEEP_ETH_LINK_UP_P【1】=0
例子:
mlxconfig -d 69:00.0 set KEEP_ETH_LINK_UP_P1=0
mlxconfig -d ca:00.0 set KEEP_ETH_LINK_UP_P1=0
查看设备id:
lspci |grep Mell
关闭端口:
mlxlink -d 69:00.0 -p 1 --port_state DN
mlxlink -d ca:00.0 -p 1 --port_state DN
开启端口:
mlxlink -d 69:00.0 -p 1 --port_state UP
mlxlink -d ca:00.0 -p 1 --port_state UP