Infiniband HDR 网卡、交换机使用向导

Infiniband HDR 200Gb（以下简称IB HDR） 产品开箱使用向导主要分为以下几个关键步骤：

一、物理链路连接

1. 将IB HDR 网卡正确安装到主机的PCIe插槽；
2. 将IB HDR交换机安装到机架；
3. 使用IB HDR光纤将网卡和交换机进行连接；
4. 给交换机和主机加电；
5. 检查网卡的PCIe speed和width，检查命令：lspci –vvv | grep  -i mell  –A40;

若主机的PCIe插槽为Gen3.0 x16，则网卡的PCIe信息正常输出如图1-1所示，Speed为8GT/s，Width为x16.

图1-1 网卡PCIe输出信息

*若没有正常输出网卡的PCIe相关信息，则需要检查网卡是否正确安装。

二、网卡驱动安装（OFED软件包安装）

1. 访问Linux InfiniBand Drivers下载跟主机操作系统版本对应的OFED压缩包(MLNX_OFED_LINUX*.tgz)；
2. 拷贝MLNX_OFED_LINUX*.tgz到每台主机的/home/目录中或共享目录中；
3. 解压tar  xvf  MLNX_OFED_LINUX*.tgz；
4. 进入到解压后的目录中执行安装脚本：./mlnxofedinstall；安装过程需要十分钟左右。

*安装过程中会有交互提示信息，直接输入y，再按enter键即可。

     5.在每台主机上启动openibd服务（加载驱动）并设为开机启动：

       systemctl  start openibd

       systemctl  enable openibd

    6.选择任意一台主机启动子网管理器并设为开机启动：

       systemctl  start  opensmd

       systemctl  enable openibd

三、检查全网端口状态

      在任意一台主机上输入iblinkinfo命令，检查全网所有端口是否处于Active状态，若为Active状态，则代表端口状态正常。

     iblinkinfo命令输出示例如图1-2所示，从输出信息中可以看出每个网卡和交换机的名称、GUID、LID、端口编号、端口Lane数、端口速率及端口状态。

图1-2 iblinkinfo输出示例

四、RDMA性能测试

      通过运行RDMA性能测试程序，可以了解当前网络的RDMA连通性、RDMA读写带宽和延迟等基础信息。

1. RDMA写带宽测试

      服务端输入：ib_write_bw  -a

      客户端输入：ib_write_bw  -a  [服务端IP地址或hostname]

     *可以通过—help选项查看更多可选参数。

      测试结果输出信息如图1-3所示。

                            图1-3 RDMA写带宽测试结果 

    2.RDMA写延迟测试

         服务端输入：ib_write_lat  -a

         客户端输入：ib_write_lat  -a  [服务端IP地址或hostname]

         *可以通过—help选项查看更多可选参数。

         测试结果输出信息如图1-4所示。

                     图1-4 RDMA写延迟测试结果