Ubuntu14.04 LTS InfiniteBand 驱动安装与速度测试

InfiniteBand驱动安装

配置要求

系统要求：Ubuntu14.04 LTS kernel:3.18
驱动：MLNX_OFED_LINUX-3.0-1-ubuntu14.04-x86_64.tgz

依赖库 内核版本

依赖库：这个问题有网就可以解决，在安装驱动过程中，会自动apt-get 依赖库
内核版本：这个需要手工配置了，开始安装ubuntu14.04,内核为3.14，需要升级成3.18的版本，这里升级成什么版本查看下驱动的手册即可，MLNX_OFED_LINUX-3.0-1-ubuntu14.04-x86_64.tgz 版本驱动支持3.16及以上的内核版本，我选择了3.18的版本内核。
官网下载内核版本。64和32下载不同，我的是64位，需要下载如下三个文件：

linux-headers-3.18.14-031814_3.18.14-031814.201505210236_all.deb            
linux-headers-3.18.14-031814-generic_3.18.14-031814.201505210236_amd64.deb  
linux-image-3.18.14-031814-generic_3.18.14-031814.201505210236_amd64.deb 

安装也要按照这个顺序安装，不然会安装失败。 安装命令 dpkg -i 装完了重启一下系统，就会加载新的系统内核。

驱动安装过程

tar -zxvf MLNX_OFED_LINUX-3.0-1-ubuntu14.04-x86_64.tgz

进入解压的文件夹 如下图所示：

安装

  mlnxofedinstall  --all   // 表示安装所有  这个过程会自动下载依赖库

什么都不用管，直到出现安装完毕信息，要求重启系统使配置生效，这里可以重新启动，不过我没有重启电脑也生效了。呵呵~

IB网卡配置

驱动安装完毕，这是可以配置ib网卡信息了，一般驱动安装完毕，使用ifconfig，会出现如下的信息：

额 貌似装完了不是这样的！ 这里我已经配置好了网卡信息，安装完驱动会出现ib0 这个网卡，但是可能没有对应的IPv4信息，甚至没有ib0这个网卡出现。
可以使用如下命令运行驱动就会出现ib0这个硬件了

/etc/init.d/openibd  start

废话少说，开始配置网卡让我们能够像使用IPv4一样正常使用

Ubuntu配置网卡信息在/etc/network/interfaces中

interfaces(5) file used by ifup(8) and ifdown(8)

auto lo
iface lo inet loopback

auto ib0
iface ib0 inet static
address 172.1.1.201
netmask 255.255.255.0
gateway 172.1.1.1

这样基本上就配置好了网卡信息，这里我们使用了一台路由器，所以网关配成了路由的IP.
重新启动网卡

service networking restart

启动ib0

ifup  ib0

就会出现上图的截图，这里可以使用ibstat命令查看下信息

测试成功

测试很容易
ping 一下就可以了 如下图所示：

测试

带宽测试

下面进行IB带宽测试：
带宽测试需要使用ib_write_bw 命令
需要两个节点测试，一个节点作为server启动ib_write_bw 命令
另一个节点作为client 启动 ib_write_bw -a -F server ip
-a 表示启动所有带宽测试
-F 表示忽略CPU动态调频问题
测试结果如下图：

从图上看 带宽3.5GB/S 交换机是40Gb/s的 看来有点性能损失。