Ubuntu 14.04安装IB卡驱动详细教程

 

软硬件环境：

Ubuntu14.04.1 LTS server 64bit，Titan X 4片,Mellanox CX353A infiniband 卡

首先在Mellanox官网下载到该卡的驱动,下载地址：

http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers

 

找到ubuntu14.04对应的驱动包：MLNX_OFED_LINUX-3.2-1.0.1.1-ubuntu14.04-x86_64.tgz

 这里需要注意：官网可以看到几个版本的驱动，如果走IB协议，必须下载带OFED字样的

以下是错误的安装方法，仅供分析问题使用>>>

1.把IB卡驱动拷贝到/home下。

①　cp MLNX_OFED_LINUX-3.2-1.0.1.1-ubuntu14.04-x86_64.tgz /home

②　cd /home (进入到/home下并进行查看)

③　tar -zxvf MLNX_OFED_LINUX-3.2-1.0.1.1-ubuntu14.04-x86_64.tgz

       （把文件解压到当前目录，解压路径自行可以更改，不做概述）

④　cd MLNX_OFED_LINUX-3.2-1.0.1.1-ubuntu14.04-x86_64/

进到该目录下

 

2.执行

 ./mlnxofedinstall  --all(表示安装所有，注意是俩个横线)

执行后发生报错，提示说该驱动文件不支持当前内核版本，后来官网查阅后发现该驱动只支持3.16以上的内核版本。由于14.04.1的内核版本是3.14 ，因此需要升级内核才能继续安装。

解决办法：

从官网下载如下3个文件，64位和32位一定要选对。

 

然后通过dpkg -i命令依次按照图片中的文件顺序安装，装完重启。

执行：uname –r 查看到内核版本已经是3.16的了。

 

接下来继续安装IB卡驱动，切换到驱动文件的解压目录下，再次执行：

./mlnxofedinstall  --all

此时会出现一段红色的文字，提示需要安装一些软件包来支持IB驱动的安装，这个地方请耐心等待它的执行，大约几分钟后就会过去。时间长短跟网络状况有一定的关系。如果等待时间很长，还有另外一个方法，按照红色文字的提示，单独安装那些软件包即可，安装命令：apt-get install xxx

安装完毕以后，使用ifconfig –a能查看到该网卡，此时证明驱动已经安装完成。

 

但是，如果我们的设备有安装英伟达的卡，我们在使用nvidia-smi命令查看显卡信息时， 出现报错说显卡无法与驱动程序进行通信，无法识别到显卡。卸载了显卡驱动重新安装时发现显卡驱动直接无法安装了。这个地方貌似出现了IB卡驱动与nvidia驱动之间有冲突，原因可能是升级内核后导致内核与其他软件和库文件不匹配。

 

以下是正确的安装方法>>>

通过实验得出解决办法：

直接选择内核版本是3.16或者3.16以上的系统版本安装系统。

 

实验结果：14.04.2(内核：3.16) ,14.04.3(内核：3.19),14.04.4(内核：4.0.)。IB卡驱动只支持3.16以上版本的系统内核，所以安装操作系统时，要选择安装14.04.2; 14.04.3。(14.04.4内核4.0以上了，尽量不要装).装操作系统以后按照上述说明安装该IB 卡驱动,安装完毕重启。

 

另外，Ubuntu15.10、16.04经过测试，也是可以的。但IB卡的驱动需要下载对应系统下的版本。

 

总之，Ubuntu系统，目前只有14.04.2,14.04.3和15.10测试是OK的，其他Ubuntu版本以及Redhat、CentOS需要进一步测试才能知道结果。补充一条最近测试结果，.2比.3要相对稳定一些。.2装完之后直接安装GCC，完成后再update，完成之后需要再安装一遍GCC,然后就正常操作一切正常。但是.3安装完之后必须先update完成之后才可以安装gcc，但是update一但失败，GCC是无法安装上的，直接影响后面的步骤。建议尽量安装14.04.2以上版本，省时间。避免因为重做系统造成时间上的浪费。