Mellanox OFED 命令

linzhiji

已于 2022-03-08 15:18:48 修改

阅读量8.9k

点赞数 5

分类专栏：运维文章标签：网络 linux 服务器

于 2022-02-18 17:11:42 首次发布

本文链接：https://blog.csdn.net/linzhiji/article/details/123007273

版权

运维专栏收录该内容

130 篇文章

订阅专栏

这篇博客详细介绍了如何管理和配置InfiniBand网络，包括查看Mellanox网卡、查询固件版本、设置网络模式、启动服务、测试RDMA连接以及进行固件更新等步骤，旨在确保高性能的InfiniBand通信。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#查看 Mellanox 网卡
lspci -v | grep Mellanox

#查看网卡逻辑口和物理口的对应
ibdev2netdev -v

# 查询固件版本
# 查询PSID:                  HP_0230240009
# mst start 要先启动
mst start
flint -d /dev/mst/mt4099_pciconf0 query full

# 查询 LINK_TYPE_P1 之类的参数
flint -d /dev/mst/mt4099_pciconf0 query full

mstconfig -d 26:00.0 q

# 查询IB状态
ibv_devinfo

# 查询 Device Type Versions
mlxfwmanager

#设置为ether模式
mlxconfig -d /dev/mst/mt4099_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

#重新加载驱动
/etc/init.d/openibd start

#启动sm
/etc/init.d/opensmd start

#查看 ofed 版本
ofed_info

#测试rdma是否配置好了

# 在A(192.168.10.12)机器上启动
rdma_server

# 在b(192.168.10.20)上连接测试
rdma_client -s 192.168.10.12

#结果

rdma_client: start
rdma_client: end 0

#写入固件

mstflint -d 03:00.0 -i /fxbox/driver/fw-ConnectX3-rel-2_42_5000-649283-B21_Cx-Dx-CLP-8025-FlexBoot-3.4.752.bin burn

ibstat

InfiniBand — NTHU_SCC_2019 1.0 documentation

ibstatus

https://docs.oracle.com/cd/E19436-01/820-3522-10/ch4-linux.html#50536461_82843

#Datagram 和 Connected mode切换
#默认是Datagram模式
#切换为connected模式
vim /etc/infiniband/openib.conf
SET_IPOIB_CM=yes

#修改后
/etc/init.d/openibd restart 

#查看模式
cat /sys/class/net/ib<n>/mode 
cat /sys/class/net/ib0/mode