Infiniband驱动 on linux 安装

安装RAC，客户使用的心跳交换机为infiniband交换机。但连接到两台服务器后，看不到ib0设备。经确认需要安装Infiniband驱动。

经查找，OS光盘中自带rpm包的安装程序，但是安装不成功。还是要下载官方驱动。Red Hat Enterprise Server 6.5 infiniband驱动（http://pan.baidu.com/s/1eQkud14）。

安装过程参考：http://blog.mchz.com.cn/?p=10601

上传到服务器/software目录下，解压

tar zxvf MLNX_OFED_LINUX-2.2-1.0.1-rhel6.5-x86_64.tgz
cd /software/MLNX_OFFD_LINUX-2.2-1.0.1-rhel6.5-x86_64

安装，安装此程序时，如果所需的程序没有安装，会报错，并提示要求安装程序，比如tk等，安装完后再安装此程序即可。

[root@oradb1 MLNX_OFED_LINUX-2.2-1.0.1-rhel6.5-x86_64]# ./mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX-2.2-1.0.1.44723.logs
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y


/bin/rpm --nosignature -e --allmatches --nodeps libibverbs libibumad libibumad.i686 librdmacm opensm opensm-libs opensm-libs.i686 infinipath-psm libibverbs libibumad libibumad.i686 librdmacm opensm opensm-libs opensm-libs.i686 compat-opensm-libs compat-dapl infinipath-psm opensm opensm-libs opensm-libs.i686 compat-openmpi compat-openmpi-psm rdma-3.10-3.el6.noarch rdma

Starting MLNX_OFED_LINUX-2.2-1.0.1 installation ...

Installing mlnx-ofa_kernel RPM
Preparing...                ##################################################
mlnx-ofa_kernel             ##################################################
Installing kmod-mlnx-ofa_kernel 2.2 RPM
Preparing...                ##################################################
kmod-mlnx-ofa_kernel        ##################################################
Installing mlnx-ofa_kernel-devel RPM
Preparing...                ##################################################
mlnx-ofa_kernel-devel       ##################################################
Installing kmod-kernel-mft-mlnx 3.6.0 RPM
Preparing...                ##################################################
kmod-kernel-mft-mlnx        ##################################################
Installing knem-mlnx RPM
Preparing...                ##################################################
knem-mlnx                   ##################################################
Installing kmod-knem-mlnx 1.1.1.90mlnx RPM
Preparing...                ##################################################
kmod-knem-mlnx              ##################################################
Installing ummunotify-mlnx RPM
Preparing...                ##################################################
ummunotify-mlnx             ##################################################
Installing kmod-ummunotify-mlnx 1.0 RPM
Preparing...                ##################################################
kmod-ummunotify-mlnx        ##################################################
Installing kmod-iser 1.2 RPM
Preparing...                ##################################################
kmod-iser                   ##################################################
Installing kmod-srp 1.3.2 RPM
Preparing...                ##################################################
kmod-srp                    ##################################################
Installing mpi-selector RPM
Preparing...                ##################################################
mpi-selector                ##################################################
Installing user level RPMs:
Preparing...                ##################################################
ofed-scripts                ##################################################
Preparing...                ##################################################
libibverbs                  ##################################################
Preparing...                ##################################################
libibverbs-devel            ##################################################
Preparing...                ##################################################
libibverbs-devel-static     ##################################################
Preparing...                ##################################################
libibverbs-utils            ##################################################
Preparing...                ##################################################
libmlx4                     ##################################################
Preparing...                ##################################################
libmlx4-devel               ##################################################
Preparing...                ##################################################
libmlx5                     ##################################################
Preparing...                ##################################################
libmlx5-devel               ##################################################
Preparing...                ##################################################
libibcm                     ##################################################
Preparing...                ##################################################
libibcm-devel               ##################################################
Preparing...                ##################################################
libibumad                   ##################################################
Preparing...                ##################################################
libibumad-devel             ##################################################
Preparing...                ##################################################
libibumad-static            ##################################################
Preparing...                ##################################################
libibmad                    ##################################################
Preparing...                ##################################################
libibmad-devel              ##################################################
Preparing...                ##################################################
libibmad-static             ##################################################
Preparing...                ##################################################
ibsim                       ##################################################
Preparing...                ##################################################
ibacm                       ##################################################
Preparing...                ##################################################
librdmacm                   ##################################################
Preparing...                ##################################################
librdmacm-utils             ##################################################
Preparing...                ##################################################
librdmacm-devel             ##################################################
Preparing...                ##################################################
opensm-libs                 ##################################################
Preparing...                ##################################################
opensm                      ##################################################
Preparing...                ##################################################
opensm-devel                ##################################################
Preparing...                ##################################################
opensm-static               ##################################################
Preparing...                ##################################################
dapl                        ##################################################
Preparing...                ##################################################
dapl-devel                  ##################################################
Preparing...                ##################################################
dapl-devel-static           ##################################################
Preparing...                ##################################################
dapl-utils                  ##################################################
Preparing...                ##################################################
perftest                    ##################################################
Preparing...                ##################################################
mstflint                    ##################################################
Preparing...                ##################################################
mft                         ##################################################
Preparing...                ##################################################
srptools                    ##################################################
Preparing...                ##################################################
rds-tools                   ##################################################
Preparing...                ##################################################
rds-devel                   ##################################################
Preparing...                ##################################################
ibutils2                    ##################################################
Preparing...                ##################################################
ibutils                     ##################################################
Preparing...                ##################################################
cc_mgr                      ##################################################
Preparing...                ##################################################
dump_pr                     ##################################################
Preparing...                ##################################################
ar_mgr                      ##################################################
Preparing...                ##################################################
ibdump                      ##################################################
Preparing...                ##################################################
infiniband-diags            ##################################################
Preparing...                ##################################################
infiniband-diags-compat     ##################################################
Preparing...                ##################################################
qperf                       ##################################################
Preparing...                ##################################################
fca                         ##################################################
Preparing...                ##################################################
mxm                         ##################################################
Preparing...                ##################################################
openmpi                     ##################################################
Preparing...                ##################################################
openmpi                     ##################################################
Preparing...                ##################################################
bupc                        ##################################################
Preparing...                ##################################################
infinipath-psm              ##################################################
Preparing...                ##################################################
infinipath-psm-devel        ##################################################
Preparing...                ##################################################
mvapich2                    ##################################################
Preparing...                ##################################################
hcoll                       ##################################################
Preparing...                ##################################################
libibprof                   ##################################################
Preparing...                ##################################################
mlnxofed-docs               ##################################################
Preparing...                ##################################################
mpitests_mvapich2__2_0rc1   ##################################################
Preparing...                ##################################################
mpitests_openmpi__1_6_5     ##################################################
Preparing...                ##################################################
mpitests_openmpi__1_8_2     ##################################################

Installation finished successfully.

Attempting to perform Firmware update...
-E- No devices found or specified
Log File: /tmp/MLNX_OFED_LINUX-2.2-1.0.1.44723.logs/fw_update.log
Failed to update Firmware.
See /tmp/MLNX_OFED_LINUX-2.2-1.0.1.44723.logs/fw_update.log
To load the new driver, run:
/etc/init.d/openibd restart
Configuring /etc/security/limits.conf.

安装后，openibd进程启动，但是启动opensmd进程，报错

service opensmd start 

设置开机自动启动，重启服务器。

chkconfig openibd on
chkconfig opensmd on
reboot

重启后，使用ifconfig就可以看到ib0相应的设备，ip设置和网卡是一样的。在/etc/sysconfig/network-scripts/ifcfg-ib0文件中

NOBOOT=yes                 --修改为yes
BOOTPROTO=none             --修改为none或static
IPADDR=10.10.10.1	   --添加
NETWORK=255.255.255.0      --添加

重启网络服务完成心跳网络配置

service network restart

心跳使用infiniband交换机，安装RAC确实很给力。