简介
因为要做基于RDMA的分布式系统,所以买了2块二手InfiniBand做开发,这一篇博客记录一下infiniband网卡的测试
网卡型号:Mellanox ConnectX-2 MHQH29B Dual Port 4x QDR PCIe 2.0 x8
机器环境:ubuntu 14.04, ubuntu 12.04
2块网卡可以不通过交换机直连,(使用OpenSM)
安装步骤
安装网卡,并连线(没有驱动的时候,网卡上的灯不亮)
下载和安装mellanox驱动:http://www.mellanox.com/page/software_overview_ib
安装时建议加--force选项
安装完成后系统会检测网卡的pcie配置,比如会提示当前一个网卡插在x4插槽
重启机器(网卡连通的端口的灯会亮)
给每个网卡配置静态ip,例如:
auto ib1
iface ib1 inet static
address 10.0.0.1
netmask 255.255.255.0
测试步骤
网卡信息查看
ibnodes命令,会发现端口连接的信息
mlx@m04:~$ ibnodes
Ca: 0x0002c903000ae254 ports 2 "up75 HCA-1"
Ca: 0x0002c903000ec606 ports 2 "m04 HCA-1"
ifconfig会发现ib端口
ib0 Link encap:UNSPEC HWaddr A0-00-02-20-FE-80-00-00-00-00-00-00-00-00-00-00
UP BROADCAST MULTICAST MTU:4092 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
ib1 Link encap:UNSPEC HWaddr A0-00-03-00-FE-80-00-00-00-00-00-00-00-00-00-00
inet addr:10.0.0.1 Bcast:10.0.0.255 Mask:255.255.255.0
inet6