ib网卡命令_从0开始的InfiniBand硬件踩坑过程

最新推荐文章于 2024-07-31 21:07:33 发布

weixin_39895181

最新推荐文章于 2024-07-31 21:07:33 发布

阅读量2k

点赞数 1

文章标签： ib网卡命令

本文链接：https://blog.csdn.net/weixin_39895181/article/details/111796130

版权

本文详述了使用Mellanox InfiniBand网卡进行分布式存储系统搭建的过程中遇到的问题及解决方法，包括网卡安装、驱动部署、IP配置以及性能测试。在配置过程中，强调了驱动更新、系统版本与内核升级的重要性，同时提供了针对错误的解决建议。

摘要由CSDN通过智能技术生成

由于科学计算实验的需求，需要使用InfiniBand做一个持久性内存全互联的分布式存储系统。其中从网卡到交换机使用Mellanox全家桶，而在Mellanox网卡与交换机的使用过程中还是遇到了不少的问题。在此将博主从0到RDMA的实践过程做一个总结，以避免大家在做此类研究的时踩坑、浪费时间。

1.首先准备了Mellanox的网卡(博主使用的是ConnectX-3 354A)插到Pice*8的槽上，用InfiniBand连接线将网卡与交换机或者网卡与网卡之间来连接起来。不用奇怪，此时网卡上的灯不会亮

2.进入到节点上查看PCI设备可以看到网卡 lspci |grep Mellanox

查看主机是否安装HCA lspci -v |grep Mellanox

3.安装IB网卡驱动

上官网找到符合自己系统的驱动

红色框中连接不能直接wget，点进去之后会有让你Accept的东西，然后才给你下载连接。

在这有些小建议，最好用最新系统装，并且把内核更新到最新，网卡驱动版本一般都会比较超前，不用担心越界。老一些版本的系统可能会出稀奇古怪的内核不匹配问题，或者重启之后就出现mlx4_ib belong to kernel which is not a part of MLNX failed skipping 这样子的错误，博主在centos 7.4折腾了很久都是这个错误，更新版本与内核后就没这个问题了。至于这个问题的具体原因网上有其他博客说过这个的解决方案，但非常麻烦且各种缺失这了那了。