网络存储之 NFS

最新推荐文章于 2024-07-19 16:09:28 发布

weixin_34082177

最新推荐文章于 2024-07-19 16:09:28 发布

阅读量273

点赞数

文章标签：网络开发工具运维

原文链接：https://segmentfault.com/a/1190000017408391

版权

网络存储之 NFS

资源

特性

NFS也是非常稳定和久经考验的解决方案。NFS的缺点也是比较明显的，单节点风险，比如NFS服务挂掉，整个文件就能访问，网站Down掉，因此NFS只能作为一个暂存的解决方案，使用NFS一定要有一个备份系统。
NFS协议从诞生到现在为止，已经有多个版本 v4比v3快百分之20
NFS v4 可以设置更大的块 524288 512k 要求使用TCP，有状态的自身实现了文件锁功能，NFSv4支持delegation实现多客户端文件同步
NFS v3 无状态只能设置块最大为32768 32k
NFS v2 设计成为只使用UDP协议，v2 只能支持设置块最大为8192 8k

概念

安装

yum install nfs-utils 安装nfs 和rpcbind
rpm -ql nfs-utils 查看安装包详情
/etc/sysconfig/nfs #配置文件

配置账号

cat /etc/passwd   # 查看系统用户
groupadd -g 45 nfsuser  #添加用户组nfsuser，GID 45值可以设置没有占用的
useradd -u 45 -g nfsuser nfsuser #添加用户，并加入用户组，设置用户UID值
mkdir /home/sharefiles     #创建分享目录，分享目录所在磁盘注意容量问题
setfacl -m u:nfsuser:rwx /home/sharefiles   #设置分享目录ACL用户权限

vim /etc/exports #编辑分享目录配置文件

#设置要分享的目录，分享给谁，定义相关属性权限
/home/sharefiles 10.29.167.186(rw,sync,all_squash,anonuid=45,anongid=45)
/home/sharefiles 10.29.168.24(rw,sync,all_squash,anonuid=45,anongid=45)

#分享目标可以是完整IP或IP域192.168.100.0/24表示一个网段主机，支持通配符* 表示所有主机
#权限：rw读写权限、ro只读、sync数据同步写入内存硬盘生产环境使用、async异步先写入内存后再写入硬盘、all_squash不论登录NFS的用户是谁都会改成匿名用户（nfsnobody）配合anonuid和anongid指定用户身份、root_squash默认值将root登陆用户转为匿名用户、fsid=0 根文件系统NFS4
no_root_squash 客户端使用 root 身份来操作服务器的文件系统

sudo systemctl start rpcbind 启动服务RPC服务先启动centos7以下service rpcbind start
sudo systemctl start nfs-server 启动服务nfs service nfs-server start
sudo systemctl enable nfs-server 加入开机启动或命令 chkconfig nfs-server on
sudo systemctl enable rpcbind
sudo systemctl list-unit-files|grep nfs #查看系统中NFS服务开启状态
sudo systemctl status/stop nfs-server #status为查看服务状态，stop为关闭服务。
sudo systemctl disable nfs-server #关闭开机启动
netstat -tulnp| grep -E '(rpc|nfs)' 查看NFS开启的端口
rpcinfo -p localhost 查看本机RPC注册情况 rpcinfo 无法输出，那就表示注册的数据有问题！可能需要重新启动 rpcbind 与 nfs
showmount -e localhost #显示出刚刚我们所设定好的相关 exports 分享目录信息
客户端安装
yum install nfs-utils #同样安装启动 rpcbind
systemctl enable rpcbind #开机启动
systemctl start rpcbind #启动
mkdir -p /home/nfs/ 创建挂载点目录
mount -t nfs -o noatime,nodiratime,noexec,nosuid,nodev,rw,tcp,bg,intr,vers=4,rsize=65536,wsize=65536 10.29.167.233:/home/sharefiles /home/nfs #挂载
grep nfs /proc/mounts #查看本机挂载的默认nfs4版本
df -m 查看系统目录将可以看到挂载的NFS
vim /etc/rc.local #开机挂载NFS写入加载命令 mount -a
chmod +x /etc/rc.d/rc.local 给命令赋予执行权限
vim /etc/fstab #开机挂载NFS
10.29.167.233:/home/sharefiles /home/nfs nfs4 noexec,nosuid,nodev,rw,tcp,bg,intr,vers=4,rsize=65536,wsize=65536 0 0
umount -vl /home/nfs #取消挂载
mount -a # 加载文件“/etc/fstab”中描述的所有文件系统
如果NFS还有客户端联机，NFS服务端服务器将无法关机，必须先关掉rpcbind和nfs才行。netstat -utlp 命令找出PID kill杀掉进程或者所有客户端卸载挂载

常用操作命令

nfsstat -rc 查看服务端是否存在瓶颈 retrans值过高说明NFS线程数不够，默认值为8
- 修改/etc/sysconfig/nfs配置文件中RPCNFSDCOUNT值调整，调整之后需重新加载配置exportfs -rv
- 生产服务器上，在系统资源够的情况下，可以按照一核CPU 8个nfs进程来算，2核16个进程
- ps -efl|grep nfsd 查看进程数
- 通过查看 cat /proc/net/rpc/nfsd文件的th行，第一个是nfsd的个数，后十个是线程是用的时间数，第二个到第四个值如果非常大，那么就需要增加nfsd的个数
- -l 打印输出状态列表信息
- -r 显示RPC 状态
- -v 显示全部状态信息
- -o net 显示包网络信息TCP UDP
showmount -e 10.29.167.186 或 localhost 显示指定端的信息
nfsstat -o net 查看网络包状态 TCP UDP的丢包率
rpcinfo -p localhost 查看本机或指定IP的RPC服务注册情况
rpcinfo -t localhost nfs #查看本机或指定IP的主机TCP使用的软件版本号
rpcinfo -u localhost nfs #查看本机或指定IP的主机UDP使用的软件版本号
tail /var/lib/nfs/etab 查看分享目录可以设置的其他参数
exportfs -arv #修改exports配置分享文件之后重新挂载不需要重启nfs
exportfs -auv #卸载所有已经分享的NFS目录资源，不能乱用
exportfs -v #查看配置

配置

功能

调试

优化

客户端加载优化：
- mount -t nfs4 -o noexec,nosuid,nodev,rw,tcp,bg,intr,rsize=65536,wsize=65536 10.29.167.233:/home/sharefiles /home/nfs
- noatime 取消更新文件系统上的inode访问时间,提升I/O性能，优化I/O目的，推荐使用

nodiratime 取消更新文件系统上的directory inode访问时间，高并发环境，推荐显式应用该选项，提高系统性能
noexec 挂载的这个文件系统，要不要执行程序（安全选项）
nosuid 挂载的这个文件系统上面，可不可以设置UID（安全选项）
rsize/wsize 读取（rsize）/写入（wsize）的区块大小（block size），这个设置值可以影响客户端与服务端传输数据的缓冲存储量

对于小块读取 32k会在读取64k数据文件时读取性能下降。
对于小块写入性能都差不多
大块读取性能随配置变化大，其中值为32k，64k和128k具有最高和最一致的性能。
对于大块写入性能都差不多
内存越大性能越好，cpu多少不影响性能
NFS4比NFS3性能高
所以建议：避免32k和1m。使用64k。使用“同步”和其他默认值。使用大内存，使用NFS4
async 异步同步，此参数会提高I/O性能，但会降低数据安全（除非对性能要求很高，对数据可靠性不要求的场合。一般生产环境，不推荐使用）异步会超时不稳定

NFS官方优化可以修改，官方的建议：

a.命令行调整
cat /proc/sys/net/core/rmem_max #该文件指定了发送套接字缓冲区大小的最大值
124928
cat /proc/sys/net/core/rmem_default #该文件指定了发送套接字缓冲区大小的默认值
124928
echo 8388608 > /proc/sys/net/core/rmem_default
echo 16777216 > /proc/sys/net/core/rmem_max

内核优化：
cat >>/etc/sysctl.conf<<EOF
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
EOF

/sbin/sysctl -p 生效配置

常见问题

客户端的主机名或 IP 网段不被允许使用，没有配置IP允许分享挂载
服务器或客户端某些服务未启动启动rpcbind
防火墙的问题，防火墙开放NFS
- firewall-cmd –permanent –zone=public –add-service=nfs
- firewall-cmd –reload

实际应用

测试NFS性能
sync; echo 1 > /proc/sys/vm/drop_caches #安全清除缓存
阿里云服务器云磁盘性能测试

SSD硬盘最大IOPS ：20000 最大吞吐量：256MBps 计算公式：IOPS=min{30容量，20000} 吞吐量=min{50+0.5容量，256}MBps 取最小值
高效云盘最大IOPS: 3000 最大吞吐量： 80MBps 计算公式：IOPS=min{1000+6容量，3000} 吞吐量=min{50+0.1容量，80}MBps 取最小值
普通云盘最大IOPS：数百最大吞吐量：30MBps
200G高效云盘最大IOPS为 1000+6200=2200 最大吞吐量为： 50+0.1200= 70MBps
yum install fio

测试随机写IOPS：

fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Rand_Write_Testing

测试随机读IOPS：

fio -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Rand_Read_Testing

测试写吞吐量：

fio -direct=1 -iodepth=64 -rw=write -ioengine=libaio -bs=64k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Write_PPS_Testing

测试读吞吐量：

fio -direct=1 -iodepth=64 -rw=read -ioengine=libaio -bs=64k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Read_PPS_Testing

dd 测试写性能的命令

/dev/null，外号叫无底洞，你可以向它输出任何数据，它通吃，并且不会撑着！
/dev/zero,是一个输入设备，你可你用它来初始化文件。该设备无穷尽地提供0
if=文件名：输入文件名 of=文件名：输出文件名
bs=bytes：同时设置读入/输出的块大小为bytes个字节
count=blocks：仅拷贝blocks个块，块大小等于ibs指定的字节数
测试时文件的大小至少是系统RAM的两倍，每次测试都使用umount 和mount对/testfs进行挂载，通过比较不同的块大小，得到优化的块大小。这样才能不用系统缓存

time dd if=/dev/zero of=/home/nfs/nfs.dat bs=64k count=16384 #循环向nfs目录中写入大小为64k的文件写入次数16384 总共文件大小为1.GB

dd 测试读性能的命令

time dd if=/home/nfs/nfs.dat of=/dev/null bs=64k

sync; echo 1 > /proc/sys/vm/drop_caches #安全清除缓存
云盘 fio 结果
read : io=1024.0MB, bw=8803.4KB/s, iops=2200, runt=119111msec #随机读带宽8.7M/秒

write: io=1024.0MB, bw=8804.7KB/s, iops=2201, runt=119093msec #随机写带宽8.7M/秒
write: io=1024.0MB, bw=71737KB/s, iops=1120, runt= 14617msec #吞吐量写带宽70M/秒
read : io=1024.0MB, bw=71776KB/s, iops=1121, runt= 14609msec #吞吐量读带宽70M/秒

云盘dd结果

写性能结果：耗时4.67692 s，速度 81 MB/s cpu使用率为7% 无文件217M 覆盖写81M
读性能结果：耗时0.237726 s, 速度73 MB/s
io= 执行了多少M的IO bw= 平均IO带宽 iops= IOPS runt= 线程运行时间
slat 提交延迟 clat 完成延迟 lat响应时间 bw 带宽 cpu利用率

NFS fio 结果

write: io=1024.0MB, bw=6786.3KB/s, iops=1696, runt=154520msec #随机写带宽6.7M/秒
read : io=1024.0MB, bw=13263KB/s, iops=3315, runt= 79062msec #随机读带宽13M/秒 cpu消耗大了5倍
write: io=1024.0MB, bw=67615KB/s, iops=1056, runt= 15508msec #吞吐量写带宽66M/秒
read : io=1024.0MB, bw=67606KB/s, iops=1056, runt= 15510msec #吞吐量读带宽66M/秒

NFS dd结果

写性能结果：耗时19.9055 s, 速度 50 MB/s cpu使用率为 3%
读性能结果：耗时0.248948 s, 速度 70 MB/s

正式环境普通云盘dd测试结果带缓存不同配置

写性能：17.2018 s, 62.4 MB/s
读性能：0.267751 s, 4.0 GB/s

正式环境普通云盘fio测试结果带缓存效果不同配置

write: io=1024.0MB, bw=31542KB/s, iops=492 , runt= 33244msec #吞吐量写带宽31M/秒
read : io=1024.0MB, bw=77437KB/s, iops=1209 , runt= 13541msec #吞吐量读带宽77M/秒
write: io=1024.0MB, bw=4563.3KB/s, iops=1140 , runt=229787msec #随机写带宽4.5M/秒
read : io=1024.0MB, bw=5342.4KB/s, iops=1335 , runt=196275msec #随机读带宽5.3M/秒

weixin_34082177

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
网络存储之 NFS

网络存储之 NFS资源http://nfs.sourceforge.net/ 官网http://cn.linux.vbird.org/lin... 客户端安装http://cn.linux.vbird.org/lin... 服务端安装http://alephnull.com/benchmar... 性能测试对比...
复制链接

扫一扫

网络存储之 NFS

网络存储之 NFS

资源

特性

概念

安装

常用操作命令

配置

功能

调试

优化

常见问题

实际应用

“相关推荐”对你有帮助么？