基于RDMA的nfs服务

已于 2024-08-29 18:19:08 修改
阅读量186 收藏 6
点赞数 2
分类专栏： Infiniband Network GPU Ubuntu 文章标签： 服务器 网络 infiniband
于 2024-08-29 11:01:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43652666/article/details/141672570
版权

背景

ib网卡+nfs服务实现简单的存储共享，暂时顶替还未上线的存储设备，同时也解决 单纯的使用scp rsync等不支持rdma协议拷贝无法正确使用ib网络

说明

前提是系统上已配置安装好ib网卡驱动，且ib网络正常使用，配置参考
https://blog.csdn.net/qq_43652666/article/details/141422514

大部分步骤网上都有，但是如何将RDMA-NFS模块注入到内核中——在很多教程中却没有提及。若缺少这一步，整个方案就无法实现。
这也是比较坑的一个点网上的文章都是直接load kernel 模块即可，但实际上该模块并没有在mellanox的驱动安装程序中被默认安装

RoCE (RDMA over Converged Ethernet)。RoCE 是一种通过以太网实现 RDMA 的技术，它允许RDMA通信在以太网上运行，而不是仅限于InfiniBand技术。

实施

服务端

apt install nfs-kernel-server nfs-common -y
 
# 更改nfsd服务守护进程
root@host:/opt# egrep "^RPCNFSDCOUNT" /etc/default/nfs-kernel-server
RPCNFSDCOUNT=16
# 重启服务
systemctl restart nfs-server.service
 
# 配置映射出去的路径
root@host:/data1# grep data /etc/exports
/data1 *(rw,async,crossmnt,insecure,fsid=0,no_auth_nlm,no_subtree_check,no_root_squash,no_all_squash)
 
# 生效
root@host:~# exportfs -arv
exporting *:/data1
 
# 验证
root@host:/data1# showmount -e
Export list for bj4090-19:
/data1 *

rdma-nfs模块

服务端和客户端都需要配置rdma nfs模块

在mellanox的网卡驱动解压缩包中有对应deb包，安装即可

如果包不存在，可以重新编译一次源码包，生成对应的包

root@host:~# cd /opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS/
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# ls |grep nfs
mlnx-nfsrdma-dkms_24.04.OFED.24.04.0.7.0.1-1_all.deb
 
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# dpkg -i mlnx-nfsrdma-dkms_24.04.OFED.24.04.0.7.0.1-1_all.deb
Selecting previously unselected package mlnx-nfsrdma-dkms.
(Reading database ... 128797 files and directories currently installed.)
Preparing to unpack mlnx-nfsrdma-dkms_24.04.OFED.24.04.0.7.0.1-1_all.deb ...
Unpacking mlnx-nfsrdma-dkms (24.04.OFED.24.04.0.7.0.1-1) ...
Setting up mlnx-nfsrdma-dkms (24.04.OFED.24.04.0.7.0.1-1) ...
Loading new mlnx-nfsrdma-24.04.OFED.24.04.0.7.0.1 DKMS files...
First Installation: checking all kernels...
Building only for 5.15.0-117-generic
Building for architecture x86_64
Building initial module for 5.15.0-117-generic
Secure Boot not enabled on this system.
Done.
Forcing installation of mlnx-nfsrdma
 
rpcrdma.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/5.15.0-117-generic/updates/dkms/
 
svcrdma.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/5.15.0-117-generic/updates/dkms/
 
xprtrdma.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/5.15.0-117-generic/updates/dkms/
 
depmod...
 
# load kernel module
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# modprobe rpcrdma
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# modprobe xprtrdma
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# modprobe svcrdma
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# lsmod |grep rdma
svcrdma                16384  0
xprtrdma               16384  0
rpcrdma                81920  0
sunrpc                585728  18 nfsd,rpcrdma,auth_rpcgss,lockd,nfs_acl
rdma_ucm               28672  0
rdma_cm               122880  2 rpcrdma,rdma_ucm
iw_cm                  49152  1 rdma_cm
ib_cm                 131072  2 rdma_cm,ib_ipoib
ib_uverbs             135168  26 rdma_ucm,mlx5_ib
ib_core               434176  9 rdma_cm,ib_ipoib,rpcrdma,iw_cm,ib_umad,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm
mlx_compat             69632  14 rdma_cm,ib_ipoib,mlxdevm,rpcrdma,xprtrdma,iw_cm,svcrdma,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core
 
 
# 配置端口
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# echo "rdma 20049" >> /proc/fs/nfsd/portlist
root@host:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# cat /proc/fs/nfsd/portlist
rdma 20049
rdma 20049
tcp 2049
tcp 2049

配置启动nfs-server服务时参数实现自动配置端口及加载模块

root@xxx:~# cat /lib/systemd/system/nfs-server.service
[Unit]
Description=NFS server and services
DefaultDependencies=no
Requires=network.target proc-fs-nfsd.mount
Requires=nfs-mountd.service
Wants=rpcbind.socket network-online.target
Wants=rpc-statd.service nfs-idmapd.service
Wants=rpc-statd-notify.service
Wants=nfsdcld.service
 
After=network-online.target local-fs.target
After=proc-fs-nfsd.mount rpcbind.socket nfs-mountd.service
After=nfs-idmapd.service rpc-statd.service
After=nfsdcld.service
Before=rpc-statd-notify.service
 
# GSS services dependencies and ordering
Wants=auth-rpcgss-module.service
After=rpc-gssd.service gssproxy.service rpc-svcgssd.service
 
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStartPre=-/usr/sbin/exportfs -r
 
ExecStartPre=/sbin/modprobe xprtrdma
ExecStartPre=/sbin/modprobe svcrdma
 
ExecStart=/usr/sbin/rpc.nfsd
 
ExecStartPost=/bin/bash -c "sleep 3 && echo 'rdma 20049' | tee /proc/fs/nfsd/portlist"
 
ExecStop=/usr/sbin/rpc.nfsd 0
ExecStopPost=/usr/sbin/exportfs -au
ExecStopPost=/usr/sbin/exportfs -f
 
ExecReload=-/usr/sbin/exportfs -r
 
[Install]
WantedBy=multi-user.target
 
# 生效
systemctl daemon-reload
# 测试
root@xxx:~# cat /proc/fs/nfsd/portlist
rdma 20049
rdma 20049
tcp 2049
tcp 2049
root@xxx:~# lsmod |grep xprtrdma
xprtrdma               16384  0
mlx_compat             69632  14 rdma_cm,ib_ipoib,mlxdevm,rpcrdma,xprtrdma,iw_cm,svcrdma,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core
root@xxx:~# lsmod |grep svc
svcrdma                16384  0
mlx_compat             69632  14 rdma_cm,ib_ipoib,mlxdevm,rpcrdma,xprtrdma,iw_cm,svcrdma,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core
root@xxx:~# showmount -e
Export list for bj4090-19:
/data1 *

客户端

装包，load module 挂载

apt install nfs-common -y
root@client:/opt/MLNX_OFED_LINUX-24.04-0.7.0.0-ubuntu22.04-x86_64/DEBS# dpkg -i mlnx-nfsrdma-dkms_24.04.OFED.24.04.0.7.0.1-1_all.deb
root@client:~# modprobe xprtrdma
 
root@client:~# lsmod |grep rdma
rpcrdma                77824  0
xprtrdma               16384  0
sunrpc                585728  3 rpcrdma,lockd,nfs
rdma_ucm               28672  0
rdma_cm               122880  2 rpcrdma,rdma_ucm
iw_cm                  49152  1 rdma_cm
ib_cm                 131072  2 rdma_cm,ib_ipoib
ib_uverbs             135168  26 rdma_ucm,mlx5_ib
ib_core               434176  9 rdma_cm,ib_ipoib,rpcrdma,iw_cm,ib_umad,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm
mlx_compat             69632  13 rdma_cm,ib_ipoib,mlxdevm,rpcrdma,xprtrdma,iw_cm,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core
 
root@client:~# mount -o rdma,port=20049 10.255.252.19:/data1 /data2
Created symlink /run/systemd/system/remote-fs.target.wants/rpc-statd.service → /usr/lib/systemd/system/rpc-statd.service.
# proto字段显示为rdma
root@client:~# mount |grep nfs
10.255.252.19:/data1 on /data2 type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=rdma,port=20049,timeo=600,retrans=2,sec=sys,mountaddr=10.255.252.19,mountvers=3,mountproto=tcp,local_lock=none,addr=10.255.252.19)
 
root@client:~# ls /data2/

客户端配置启动时自动load rdma nfs模块

# 服务中添加这行
ExecStartPre=/sbin/modprobe xprtrdma
 
 
root@client:/data1# cat /lib/systemd/system/rpcbind.service
[Unit]
Description=RPC bind portmap service
Documentation=man:rpcbind(8)
DefaultDependencies=no
RequiresMountsFor=/run/rpcbind
 
# Make sure we use the IP addresses listed for
# rpcbind.socket, no matter how this unit is started.
Requires=rpcbind.socket
After=systemd-tmpfiles-setup.service
Wants=remote-fs-pre.target rpcbind.target
Before=remote-fs-pre.target rpcbind.target
 
[Service]
Environment="OPTIONS=-w"
ExecStartPre=/sbin/modprobe xprtrdma
ExecStart=/sbin/rpcbind -f $OPTIONS
EnvironmentFile=-/etc/rpcbind.conf
EnvironmentFile=-/etc/default/rpcbind
Type=notify
KillMode=process
Restart=on-failure
 
[Install]
Also=rpcbind.socket
WantedBy=multi-user.target
 
systemctl daemon-reload && systemctl restart rpcbind.service

测试

测试时在服务端使用iftop等网卡类top命令无法看到ib网卡的传输速率，反过来推出数据传输走了rdma协议，未经由系统内核空间
fio测试

root@client:~# apt install fio -y
 
root@client:~# fio -filename=/data2/fio_test -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=10240k -size=10G -numjobs=60 -runtime=60 -group_reporting -name=mytest --output=./10240k-read-p60-1.json
root@client:~# [R(60)][100.0%][r=17.6GiB/s][r=1806 IOPS][eta 00m:00s]

refer

导入内核问题解决方案
https://forums.developer.nvidia.com/t/how-to-use-nfs-over-rdma-with-mlnx-ofed-solution/207263

其他的参考内容网上都差不多
整体实现参考
https://vqiu.cn/nfs-rdma/

知本知至
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux查看网卡是rdma,Chelsio RDMA Block设备驱动测试
weixin_36192634的博客
05-01 1389
RDMA Block 设备驱动介绍我们现在测试使用的 Chelsio T4 及 T5 系列万兆以太网卡支持 iWARP RDMA 功能，查阅文档之后发现此系列的万兆网卡除了支持常用的基于 IP 协议的 iSCSI 以及 NFS-RDMA 之类的功能，Chelsio 还特别提供了基于 RDMA 的 Block 设备驱动(以下简称 RBD 驱动)。RDMA 技术本身我就不做详细介绍了，Chelsio ...
rdma oracle,NFS Over RDMA
weixin_28913687的博客
04-07 989
NFS Over RDMA从 Oracle Solaris 11.1 发行版开始，NFS 的缺省传输协议为远程直接内存访问 (Remote Direct Memory Access, RDMA) 协议。该协议通过高速网络实现内存到内存数据传输。具体来说，RDMA 可提供不受 CPU 干预而直接进出内存的远程数据传输。RDMA 还可提供直接数据放置，这消除了数据副本，因此进一步消除了 CPU 干预。...
基于RDMA的RPC框架(三)框架设计
sinat_38705282的博客
11-01 2071
文章目录一、整体设计二、Agent模块设计三、详细设计 一、整体设计 考虑到框架的跨语言性，RPC借助了Service Mesh的思想，即主体为一个Proxy Agent作为Sidecar单独部署，同时提供一个特别轻量的SDK以进行流量劫持。 类似于： etcd为注册中心，可以自己替换为自己的实现或者其他的开源实现。 主体部分的Agent部分除了最普通的消费服务、注册服务、进行Rpc调用外同时还要负责服务治理，包括熔断、限流、服务降级等功能。 通信协议： 字段 作用 magic 魔数
CentOS 下NFS服务搭建与配置
weixin_40482816的博客
08-29 463
目录 CentOS 下NFS服务搭建与配置 1. NFS服务端搭建启动NFS SERVER之前，首先要启动RPC服务 1.1. 安装NFS和rpc 【服务端、客户端都安装】 1.2. 查看用户信息 1.3. 配置exports 1.4. 启动rpcbind服务 1.5. 启动NFS 1.6. 加入开始自启动 1.6.1. 使用 /etc/rc.local 1.6.2. 使用ch...
【RDMA】文档、教程和社区
楠燊.tech
03-26 1063
参考和学习资料和途径。
使用Soft-RoCE实践RDMA
wq897387的专栏
07-23 1123
使用Soft-RoCE实践RDMA
RDMA 与存储网络协议
探索未知，成就非凡
06-24 1109
而SMB Direct利用RDMA技术，直接在主机之间进行内存数据的传输，避免了CPU的参与和网络协议栈的处理，从而提高了数据传输的效率和性能。而NFS RDMA利用RDMA技术，直接在主机之间进行内存数据的传输，避免了CPU的参与和网络协议栈的处理，提高了数据传输的效率和性能。在部署和使用NFS RDMA时，建议参考相关的文档和厂商提供的支持资料，以了解具体环境下的配置和使用细节。它通过RDMA直接在网络上传输数据，提供更高的带宽和更低的延迟，适用于高性能文件共享和数据访问的场景。
【RDMA】文档和教程和相关知识
bandaoyu的note
01-21 3294
原文：https://zhuanlan.zhihu.com/p/138874738 本想完全靠自己的语言完成这篇概述，然而开篇并没有想象当中的好写，看样子从宏观上概括一个技术比从微观上探究细枝末节要困难不少。本文是以前人们对RDMA技术的介绍为主，加入了一些自己的理解。随着本专栏内容的增加，本篇概述也会更新和逐渐完善。 什么是RDMA？ RDMA（ Remote Direct Memory Access ）意为远程直接地址访问，通过RDMA，本端节点可以“直接”访问远端节点的内存。所谓直接，指的是可以
Linux——NFS & samba
konghui099的博客
07-07 457
NFS & samba NAS：Network Attached Storage 网络附属存储 NFS samba FTP 基于网络的存储 SAN：Storage Area Network 存储区域网络（存储局域网） 基于存储的网络 万兆起 10Gb IBM 联想 DELL HP 采用网状通道（Fibre Channel ，简称FC，区别与Fib...
存储网络RDMA：NVME over RDMA
neo949332116的博客
09-08 6294
毫无疑问地，用来取代iSCSI/iSER(iSCSI Extensions for RDMA)技术的NVMe over Fabrics着实让RDMA又火了一把。在介绍NVMe over Fabrics之前，先科普一下RDMA。 1. DMA和RDMA的概念 1.1 什么是DMA? Direct Memory Access(DMA) is a capability provided th...
【ceph】什么是NFS-Ganesha和fuse
小鱼菜鸟的博客
07-22 632
目录 一、简略 二、说明 1、什么是NFS-Ganesha 2、NFS-Ganesha的优点 3、NFS Ganesha对接Ceph RGW实例 4、什么是FUSE 5、 nfs-ganesha and CephFS 三、详细说明 NFSv4 简要概述 NFS-Ganesha 的四大优势 NFS-Ganesha 框架浅析 NFS ...
14. Linux-RHCE-NFS服务-性能调优和优化
# 1. Linux操作系统简介 ## 1.1 Linux操作系统概述 Linux操作系统是一种自由和开放源代码的类Unix操作系统，最初由Linus Torvalds在1991年创建。Linux操作系统内核经过多年的发展和改进，现在被广泛应用于服务器、...
【Linux】如何快速查看 linux 服务器有几个cpu
2024 做自己的太阳
08-22 704
默认情况下，它会显示可用的处理单元总数（如果有超线程，这个数可能是物理核心数的两倍）。文件包含了CPU的详细信息，包括每个CPU核心的信息。通过查看这个文件，你可以计算物理CPU的数量或核心数。并不直接显示物理CPU的数量或核心数，但你可以通过逻辑CPU的数量和每个物理CPU的核心数来推断。命令是一个查看CPU架构信息的工具，它可以显示CPU的数量、核心数、每个核心的线程数等信息。行，这表示总的逻辑CPU数量（如果启用了超线程，这个数值可能是物理核心数的两倍）。要获取物理CPU核心的数量，你可以查看。
服务器远程管理
最新发布
m0_64827698的博客
08-26 588
SSH两种级别的安全认证：基于口令（口令在网络上传播，易受中间人攻击），基于密钥（传公钥，公钥是否相同，公钥加密质询，私钥解密）（密钥不在网络上传）2.启用服务services.msc（telnet）/配置远程桌面服务gpedit.msc（rdp）/使⽤SSH，你可以把所有传输的数据进⾏加密，这样“中间 ⼈”这种攻击⽅式就不可能实现了。实验总结：在windows开启telnet服务（2019不支持），RDP服务，SSH。SSH协议允许⽤户通过配置⽂件⾃定义选择加密算法，以优化安全性和性能。
服务器机房与数据中心的区别？
wanhengwangluo的博客
08-23 524
随着服务器的广泛应用，越来越多的企业选择服务器租用或者是托管业务，选择服务器租用和托管为企业节省了一定的经济成本，一般都会放置在专业的服务器机房中，而在徐州服务器租用则有着专业的数据中心，同能够保障服务器的稳定性与安全性，本文主要来介绍一下服务器机房与数据中心的区别是什么？服务器机房与数据中心相比较来说整体的规模会小一点，放置的服务器数量会有限制，在冷却系统上，数据中心里的设备会更加的先进与有效；
WEB应用服务器 -- Tomcat详解及案例实现
m0_63631814的博客
08-22 693
Apache Tomcat（通常简称为 Tomcat）是一个由 Apache 软件基金会开发和维护的开源 Java 应用服务器。Tomcat 是用于运行 Java Servlets 和 JavaServer Pages (JSP) 的标准实现之一。它广泛用于开发和部署 Java Web 应用程序，因为它轻量、易于使用且兼容主流的 Java EE（企业版）标准。
黑神话：悟空游戏用的什么服务器？
热门推荐
petaexpress的博客
08-21 1万+
黑神话：悟空游戏用的什么服务器？《黑神话：悟空》游戏使用的是基于云计算的强大服务器，具体型号和配置未公开。这些服务器在游戏发布初期就表现出极强的处理能力和稳定性，尽管同时在线人数一度突破百万，但整体运行仍然十分稳定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值