拓扑
VENDOR ETH BDF IBdev IPaddr Company
0x15b3 enp5s0f0 mlx5_0 (Up) 05:00.0 1.1.5.0/8 Mellanox Family [ConnectX-5]
0x15b3 enp5s0f1 mlx5_1 (Up) 05:00.1 1.1.5.1/8 Mellanox Family [ConnectX-5]
0x15b3 enp6s0f0 mlx5_2 (Up) 06:00.0 1.1.4.0/8 Mellanox Family [ConnectX-4 Lx]
0x15b3 enp6s0f1 mlx5_3 (Up) 06:00.1 1.1.4.1/8 Mellanox Family [ConnectX-4 Lx]
现象
-
命令行报错:
Failed to modify QP 139 to RTR
Unable to Connect the HCA’s through the link
-
驱动报错:
mlx5_core 0000:42:00.0 enp66s0f0: mlx5e_ethtool_get_link_ksettings: query port ptys failed: -67
细节:
根因
QP可以处于不同的状态,其中RTR(Ready to Receive)是QP状态之一,表示QP已经准备好接收消息。
两个IB接口并未链接,但是两个IB接口的服务器是能够互通的时候会出现该问题
解决办法
更改拓扑,让测试的两个port在IB上能够通。比如直连或者交换机处理。