NFS性能优化/调优

已于 2022-07-04 11:21:55 修改
阅读量8.2k 收藏 12
点赞数
分类专栏： 运维 文章标签： 性能优化
于 2022-01-14 22:14:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linzhiji/article/details/122503384
版权

NFS优化分为server端和client端

server:
#mount参数设置noatime
#修改 tcp_slot_table_entries=128



client:
timeo



测试tool：
nmon
nfsstat
nfsiostat
iostat
mountstats

Server端

mount  $i:/home/fxbox/arfiles /mnt/$i \
-o ro,fg,retry=1,retrans=1,intr,timeo=10,nolock,\
nocto,noacl,async,soft,ac,actimeo=600



#shows the list of nfs mounts
nfsstat -m


# 查看所有挂载，包括网络的
cat /proc/mounts


# 查看本机有哪些mount
#exportfs命令
#常用选项
#-a 全部挂载或者全部卸载
#-r 重新挂载
#-u 卸载某一个目录
#-v 显示共享目录
exportfs -arv


# 查看从某台服务器挂载的目录：
showmount -e 172.16.22.247

/etc/fstab 文件包含了如下字段，通过空格或 Tab 分隔：

<file system>    <dir>    <type>    <options>    <dump>    <pass>

  • <file systems> - 要挂载的分区或存储设备.
  • <dir> - <file systems>的挂载位置。
  • <type> - 要挂载设备或是分区的文件系统类型，支持许多种不同的文件系统：ext2,ext3, ext4, reiserfs,xfs, jfs, smbfs,iso9660, vfat, ntfs,swap 及 auto。 设置成auto类型，mount 命令会猜测使用的文件系统类型，对 CDROM 和 DVD 等移动设备是非常有用的。
  • <options> - 挂载时使用的参数，注意有些mount 参数是特定文件系统才有的。一些比较常用的参数有：
    • auto - 在启动时或键入了mount -a 命令时自动挂载。
    • noauto - 只在你的命令下被挂载。
    • exec - 允许执行此分区的二进制文件。
    • noexec - 不允许执行此文件系统上的二进制文件。
    • ro - 以只读模式挂载文件系统。
    • rw - 以读写模式挂载文件系统。
    • user - 允许任意用户挂载此文件系统，若无显示定义，隐含启用noexec, nosuid, nodev 参数。
    • users - 允许所有 users 组中的用户挂载文件系统.
    • nouser - 只能被 root 挂载。
    • owner - 允许设备所有者挂载.
    • sync - I/O 同步进行。
    • async - I/O 异步进行。
    • dev - 解析文件系统上的块特殊设备。
    • nodev - 不解析文件系统上的块特殊设备。
    • suid - 允许 suid 操作和设定 sgid 位。这一参数通常用于一些特殊任务，使一般用户运行程序时临时提升权限。
    • nosuid - 禁止 suid 操作和设定 sgid 位。
    • noatime - 不更新文件系统上 inode 访问记录，可以提升性能(参见 atime 参数)。
    • nodiratime - 不更新文件系统上的目录 inode 访问记录，可以提升性能(参见 atime 参数)。
    • relatime - 实时更新 inode access 记录。只有在记录中的访问时间早于当前访问才会被更新。（与 noatime 相似，但不会打断如 mutt 或其它程序探测文件在上次访问后是否被修改的进程。），可以提升性能(参见 atime 参数)。
    • flush - vfat 的选项，更频繁的刷新数据，复制对话框或进度条在全部数据都写入后才消失。
    • defaults - 使用文件系统的默认挂载参数，例如ext4 的默认参数为:rw,suid, dev, exec, auto, nouser,async.
  • <dump> dump 工具通过它决定何时作备份. dump 会检查其内容，并用数字来决定是否对这个文件系统进行备份。 允许的数字是 0 和 1 。0 表示忽略， 1 则进行备份。大部分的用户是没有安装 dump 的 ，对他们而言 <dump> 应设为 0。
  • <pass> fsck 读取 <pass> 的数值来决定需要检查的文件系统的检查顺序。允许的数字是0, 1, 和2。 根目录应当获得最高的优先权 1, 其它所有需要被检查的设备设置为 2. 0 表示设备不会被 fsck 所检查。

soft ：使用软挂载的方式挂载系统，若Client的请求得不到回应，则重新请求并传回错误信息。

noatime ：不更新文件的访问时间。传输性能相较于不加noatime参数有明显提升。

timeo=n：客户端重传请求前等待时间。基于TCP的NFS服务（v4 版本默认使用TCP协议进行传输），默认等待重传时间为60s，每次重传超时后timeo时间会持续增加直到最大值600s

retrans=n：客户端返回错误前的重传次数。默认重传次数3次，最大重传次数7000次，retrans与soft参数一起使用时才有效。

【使用建议】timeo、retrans这两个参数选择主要取决于网络性能。对于网络吞吐量小，延时高，抖动高，丢包率大的情况，建议将timeo，retrans两个参数值设置大一些。对于网络吞吐量大，延时低，抖动低，丢包率小的情况，建议将timeo，retrans两个参数值设置小一些。具体设置值因网络状况而定。

客户端clinet

  • NFS 服务器在决定默认的最大读写块大小时考虑到内存占用情况，每个 NFS 内核线程最多只使用 1/4096 的物理内存大小，对于 UDP 来说，由于一个 UDP 包最大才 64KB，因此使用 UDP 协议的 NFS 读写块大小最大不超过 48KB，而 kernel 中则直接限制为 32KB 了；而使用 TCP 协议的 NFS 由于没有这个限制允许更大的读写块大小，但 Linux kernel 还是将其限制为 1MB 了。对于物理内存超过 4GB 的机器才使用最大的 1MB 读写块大小。记录这个大小的文件为/proc/fs/nfsd/max_block_size.
  • noatime在客户端参数里无用

ubuntu nfs 挂载参数

​​​​​​第3章 NFS基本应用 - 骏马金龙 - 博客园

 Using nfsstat and nfsiostat to troubleshoot NFS performance issues on Linux | Enable Sysadmin

Increase Performance and lifespan of SSDs & SD Cards

NFS性能调优--实时监测 - 程序员大本营


5. Optimizing NFS Performance

NFS使用详解之三.NFS传输速度优化 - princessd8251 - 博客园

How to do Linux NFS Performance Tuning and Optimization


NFS优化笔记_Storage团队的博客-CSDN博客_nfs线程数


Linux：带你理解线程概念（CPU密集型 VS I/O密集型）_AngelDg的博客-CSDN博客

A Comparison of NFSv4 rsize and wsize Values

提高IO性能（只需要设置 noatime） - sunss - 博客园

挂载文件系统选项nodiratime、noatime_jc_benben的专栏-CSDN博客_noatime,nodiratime

​​​​​​如何选择IO调度器 - 广漠飘羽 - 博客园

NFS性能管理指南
嵌入式系统,linux,存储
12-07 7798
NFS 性能调优在 NFS 网络中，服务器是调优的主要目标，当然也有一些是可以在客户机上调优的。需要多少 biod 和 nfsd 守护进程？因为 biod 和 nfsd 守护进程一次处理一个请求，并且 NFS 响应时间占了总响应时间的最大一部分，所以如果线程由于缺少 biod 或 nfsd 守护进程而阻塞是让人无法接受的。注:只存在单一的 nfsd 守护进程和单一的
NFS性能优化参考 —— 筑梦之路
筑梦之路
03-18 894
因此我们在访问文件的时候应该尽量保持文件的打开状态，避免重复打开关闭文件，这样NFS全路径的逐级检查。这种方法对NFSv4以后的版本适用，但对于NFSv3及以前的版本并不适用，因为他们是无状态的。似乎这个并不好实现，因为文件的大小是业务决定的，我们似乎很难控制文件的大小。但是，如果是自己开发的应用程序， 在保存数据的时候尽量以大文件的形式，而非小文件的形式，这对性能是有益的。，也就是一个目录中文件的数量不要太多。服务端的有些文件系统变量目录像的效率并不高，当目录项太多时，查找将非常耗时。
nfs的优化
weixin_34081595的博客
02-21 373
总结和测试了一下自己的经验: NFS中的rsize、wsize rsize、wsize对于NFS的效能有很大的影响.wsize和rsize设定了SERVER和CLIENT之间往来数据块的大小,这两个参数的合理设定与很多方面有关,不仅是软件方面也有硬件方面的因素会影响这两个参数的设定（例如LINUX KERNEL、网卡,交换机等等）. 下面这个命令可以简单测试NFS的执行效能,读和写的效能可以...
NFS文件共享服务介绍、搭建、应用场景
最新发布
weixin_43892251的博客
04-18 1365
NFS（Network File System网络文件系统）的缩写，它最大的功能就是可以通过网络，让不同的主机、不同的操作系统可以共享彼此的文件。
nfs性能优化
linux_tcpdump的博客
03-26 1955
mount nfs的其它可选参数： mount的参数对存储的性能有很大的影响。 下面是一些基本的mount参数，大家可以参考。 HARD mount和SOFT MOUNT： HARD: NFS CLIENT会不断的尝试与SERVER的连接（在后台，不会给出任何提示信息,在LINUX下有的版本仍然会给出一些提示），直到MOUNT上。 SOFT:会在前台尝试与SERVER的连接，是默认的连接方式。当收到错误信息后终止mount尝试，并给出相关信息。 例如：mount -F nfs -o hard 192.168
NFS 速度变慢问题排查 性能优化
qq_42152032的博客
11-24 1万+
一、服务器端挂载参数调整： 二、nfs-client 客户端挂载选项调整 (多个选项之间用逗号分开) 1.atime 更新访问时间 这个建议别用，会降低nfs的性能 可以加上noatime 2.auto 能够被自动挂载通过-a选项 3.async 异步挂载 sync同步挂载 sync适用在通信比较频繁且实时性比较高的场合，比如Linux系统的rootfs通过nfs挂载。 三、分析磁盘IO性能是否达上限： 四、测试服务器端 与 客户端 网络速度： 五、dd测试nfs读写速度： 六、nfs日
Linux NFS网络服务器性能优化
09-27
Linux NFS网络服务器性能优化，可以参考对nfs进行优化
NFS服务器的性能调优和数据传输优化
介绍NFS服务器性能调优的重要性 ## 1.1 NFS服务器的基本原理和工作机制 NFS（Network File System）是一种允许网络中不同的计算机系统之间共享文件的协议。在NFS中，有一个NFS服务器，负责存储文件并允许客户端...
优化Sun硬件上的Oracle Solaris 8 NFS服务器性能与调优指南
文档内容涵盖了关于NFS服务器在Sun硬件环境中的最佳实践、配置调整、故障排查以及性能调优策略。它可能包括对NFS协议的理解，如如何管理共享目录，如何设置缓存和数据块大小，以及如何处理网络延迟、带宽限制等因素...
14. Linux-RHCE-NFS服务-性能调优和优化
与传统商业操作系统相比，Linux具有更好的稳定性、安全性和灵活性，并且允许用户根据自己的需求定制和优化系统。 ## 1.2 RHCE认证及其意义 RHCE（Red Hat Certified Engineer）是由红帽公司提供的专业认证，旨在...
NFS 性能调优
Beckham的博客
01-22 5662
mount命令参数的优化 默认挂载 [root@node1 ~]# mount -o nfsvers=3 192.168.251.116:/test /mnt [root@node1 ~]# cat /proc/mounts | grep /mnt 192.168.251.116:/test /mnt nfs rw,relatime,vers=3,rsize=1048576,wsize...
NFS性能优化手册
★ 分享、传播、open source
09-15 2981
http://www.lichaozheng.info/2011/10/13/nfs%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/#sec-12 Table of Contents 1 NFS概述2 设置NFS读写块大小，优化传输速度3 网络包大小和网卡驱动4 网络包分片导致的溢出5 使用NFS over TCP6 超时和重传值7 守护进
【NFS】NFS性能测试、优化
qq_43286526的博客
07-14 1218
Ceph性能测试（RBD、CephFS、NFS、Cache Tier）nfs说到底还是性能坑，目前有其他高性能的替代方案么？为什么Linux上NFS性能只有几MB/S的速度？NAS性能：NFS，Samba和GlusterFS。NFS服务优化 挂载优化 关于NFS内核优化。Linux NFS 客户端僵死。超算系统需要躲开的NFS大坑。NFS性能调优--实时监测。NFS文件系统挂载和优化。NFS性能调优：实时监测。nfs挂载优化及优缺点。测试nfs文件读写速度。NFS的目录数量限制。NFS文件服务器使用。
Linux NFS服务器性能优化
JDMBA的专栏
12-13 975
     NFS是网络文件系统（Network File System）的简称，是分布式计算系统的一个组成部分，可实现在异种网络上共享和装配远程文件系统。NFS由Sun公司开发，目前已经成为文件服务的一种标准（RFC1904，RFC1813）。其最大的功能就是可以通过网络，让不同操作系统的计算机可以共享数据，所以也可以将它看做是一个文件服务器。NFS文件服务器是Linux最常见网络的服务之一。
nfs的传输速度优化
热门推荐
心中天堂的专栏
08-29 3万+
如果按mount -o nolock 192.168.1.220(假设为宿主机ip):/mnt/nfs /mnt/nfs_t 来mount ，传输速度可能很慢， 只有几K到几十K左右，所以想要获得较快的速度就要对nfs进行优化。 　　 　　nfs优化篇 　　 　　1.设置块大小 　　mount命令的risize和wsize指定了server端和client端的传输的块大小。如果没有指定，
NFS性能优化
weixin_33681778的博客
07-26 559
参考: http://www.techrepublic.com/blog/linux-and-open-source/tuning-nfs-for-better-performance/ 1.服务器端查看是否有瓶颈 # nfsstat -rc Client rpc stats: calls      retrans    authrefrsh 3409166    330        0 ret...
NFS 优化及详解
Z14523299999的博客
07-31 207
一， 　　启动过程： 所以启动的时候一定一定要先启用——————rpcbind———————————————— 启动 rpcbind ------>/etc/init.d/rpcbind restart 启动nfs ------------->/etc/init/nfs start 　　进程说明： 　　　　 　　开机自启设置...
NFS-server通信原理
02-28
<think>好的，我现在需要回答用户关于NFS服务器通信原理的问题。首先，用户之前问过RPC和NFS的关系，现在可能希望更深入了解NFS服务器的工作机制。我需要确保回答结构清晰，技术准确，同时符合之前的格式要求，比如使用中文、正确使用LaTeX等。 首先，我应该回顾NFS的基本概念，然后分层次讲解通信原理。用户可能想了解NFS服务器如何处理客户端的请求，涉及哪些协议和组件。需要提到RPC的作用，因为之前的问题已经关联过RPC和NFS的关系，这里需要进一步展开。 接下来，我需要拆解NFS服务器的通信过程，可能包括架构分层、协议交互、数据编码、连接管理、安全机制等方面。每个部分需要简明扼要，避免过于技术化，但又要足够详细，确保用户理解关键点。 例如，在架构分层方面，NFS服务器工作在应用层，依赖RPC和XDR，这里需要说明各层的职责。协议交互部分可以举一些具体的RPC过程，比如MOUNT协议和NFS操作，用例子说明客户端如何挂载和读写文件。 数据编码部分，XDR的作用是标准化数据传输，需要解释其重要性。连接管理方面，NFSv3和v4的区别，比如无状态和有状态，以及TCP和UDP的使用场景。 安全机制可能涉及身份验证和加密，比如RPCSEC_GSS和Kerberos的应用。性能优化部分可以提到缓存和传输参数调整，这对用户实际部署可能有帮助。 需要确保使用正确的LaTeX格式，所有技术术语如RPC、XDR、NFSv4等用斜体或代码块，数学表达式用$...$。避免使用Markdown，保持自然的中文表达，结构清晰，分点说明。 最后，检查是否有遗漏的关键点，比如NFS的版本演进对通信的影响，或者实际应用中的配置示例，这能帮助用户更好地理解理论内容。确保回答符合用户的需求，既全面又不冗长。</think>NFS（网络文件系统）服务器的通信原理通过分层协议栈实现远程文件访问，其核心机制可分为以下技术层面： **1. 架构分层** $$ \begin{array}{|c|c|} \hline \text{应用层} & \text{NFS协议 (文件操作语义)} \\ \hline \text{表示层} & \text{XDR (外部数据表示)} \\ \hline \text{会话层} & \text{RPC (远程过程调用)} \\ \hline \text{传输层} & \text{TCP/UDP} \\ \hline \end{array} $$ **2. 协议交互流程** - **MOUNT协议阶段**： 1. 客户端通过RPC调用`MOUNTPROC_MNT`获取文件句柄 2. 服务端验证导出路径权限（参考`/etc/exports`配置） 3. 返回包含文件系统标识符的句柄，如：$handle = (fsid=0x3A5B, inode=12876)$ - **NFS操作阶段**： ```python # 典型READ操作RPC调用序列 def nfs_read(handle, offset, count): # 1. 客户端构造XDR格式请求包 xdr_request = encode_fh(handle) + offset.to_bytes(8) + count.to_bytes(4) # 2. 通过RPC发送到服务端的nfsd线程 rpc_header = RPC(program=100003, version=3, procedure=6) # NFSv3 READ udp_packet = IP(dst=server_ip)/UDP()/rpc_header/xdr_request # 3. 服务端处理流程 if verify_export(handle.fsid): data = vfs_read(handle.inode, offset, count) xdr_response = encode_readres(data) return RPC_REPLY/xdr_response ``` **3. 数据编码规范** - 使用XDR实现跨平台数据标准化： - 整数采用大端字节序 - 字符串固定4字节长度前缀，如："file"编码为$\x00\x00\x00\x04\x66\x69\x6C\x65$ - 文件句柄为不透明数据结构（通常包含fsid+inode） **4. 连接管理机制** - **无状态设计（NFSv3）**： - 每个RPC请求包含完整上下文 - 服务端不保存客户端状态信息 - 故障恢复通过客户端重试实现 - **有状态设计（NFSv4+）**： ```mermaid sequenceDiagram 客户端->>服务端: OPEN RPC (包含clientid) 服务端-->>客户端: stateid=0x89AB 客户端->>服务端: READ RPC (stateid=0x89AB) 服务端-->>客户端: 文件数据 + 新stateid ``` **5. 安全通信模型** - **AUTH_SYS**：基于UID/GID的简单认证 - **RPCSEC_GSS**： - 支持Kerberos 5认证 - 加密流程： $$ \begin{cases} \text{客户端} \rightarrow \text{服务端}: & \text{KRB5_AP_REQ (包含会话密钥)} \\ \text{数据加密}: & AES-256-CTR(key=K_session, data=payload) \end{cases} $$ **6. 性能优化技术** - **服务端线程模型**： ```bash # 查看nfsd线程数 $ ps -eLf | grep nfsd | wc -l # 调整线程池大小 $ echo 64 > /proc/fs/nfsd/threads ``` - **传输协议选择**： - UDP：适用于低延迟局域网（默认包大小8192字节） - TCP：广域网环境提供可靠传输（支持Jumbo Frame） **实时诊断示例**： ```bash # 捕获NFS通信数据包 $ tcpdump -i eth0 'port 2049' -w nfs.pcap # 使用nfsstat查看通信状态 $ nfsstat -o net -c # 客户端统计 $ nfsstat -o net -s # 服务端统计 # 解析RPC调用 $ rpcdebug -m nfsd -s all # 开启NFS调试日志 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值