centos7.9配置nfs over rdma

服务端系统iso：centos7.9 everything（桌面最全包）

客户端系统iso：centos7.9 mini（挂载本地源）

服务端：

查看网卡版本，根据版本在官网下载IB网卡驱动包

[root@mu01 mellanox]# lspci | grep -i mellanox

MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64.tgz 下载完成后使用tar进行解压即可

tar xf MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64.tgz

报错缺少依赖：

./mlnxofedinstall --add-kernel-support --with-nfsrdma --with-nvmf --all

yum安装依赖：

yum install python-devel

再次执行安装：

./mlnxofedinstall --add-kernel-support --with-nfsrdma --with-nvmf --all

注：安装完成开机自启守护进程opensmd，集群中开启一个就可以

[root@mu01 ~]# systemctl status opensmd [root@mu01 ~]# /sbin/chkconfig opensmd on 

[root@mu01 ~]# systemctl start opensmd

配置服务端RDMA

[root@mu01 ~]# modprobe xprtrdma

[root@mu01 ~]# modprobe svcrdma

[root@mu01 ~]# echo 'rdma 20049' | tee /proc/fs/nfsd/portlist rdma 20049

[root@mu01 ~]# cat /proc/fs/nfsd/portlist

rdma 20049

rdma 20049

tcp 2049

udp 2049

[root@mu01 ~]# systemctl start nfs-server

[root@mu01 ~]# systemctl enable nfs-server

客户端：

./mlnxofedinstall --add-kernel-support --with-nfsrdma --with-nvmf --all

yum install kernel-devel-3.10.0-1160.el7.x86_64 python-devel

./mlnxofedinstall --add-kernel-support --with-nfsrdma --with-nvmf --all

./mlnxofedinstall --add-kernel-support --with-nfsrdma --with-nvmf --skip-repo

重启节点

配置客户端RDMA

[root@cu01 ~]# modprobe xprtrdma

NFS over RDMA方式挂载到服务端，协议走3

[root@cu01 ~]# mount -t nfs -o rdma,port=20049,vers=3 ibmu01:/array1/home/ /array1/home/

查看挂载成功，通过mount去验证一下