在极限读场景下,对于客户端的网络监控如图:
在极限写场景下,对于NAS1网关的网络监控如图:
在极限写场景下,对于NAS2网关的网络监控如图:
在极限写场景下,对于客户端的网络监控如图:
在极限混合读写场景下,对于NAS1网关的网络监控如图:
在极限混合读写场景下,对于NAS2网关的网络监控如图:
在极限混合读写场景下,对于客户端的网络监控如图:
综合以上的测试结果,可以总结出下表:
Linux Samba NAS网关测试数据 | |||||||||
单NAS网关 | 100Mb/s负载性能记录 | NAS网关资源占用 | |||||||
稳定读 | 稳定写 | 稳定读 | 稳定写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
1*3+3*2 | 4*3 | 96.70% | 10G | 127MB/S | 85.70% | 10G | 180MB/S | ||
50Mb/s负载性能记录 | NAS网关资源占用 | ||||||||
稳定读 | 稳定写 | 稳定读 | 稳定写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
3*3+1*4 | 4*5 | 96.70% | 10G | 104MB/S | 83.40% | 10G | 160MB/S | ||
极限性能记录 | NAS网关资源占用 | ||||||||
极限读 | 极限写 | 极限读 | 极限写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
4*1 | 4*1 | 94.50% | 10G | 195MB/S | 79.60% | 10G | 201MB/S | ||
极限混合读写 | 极限混合读写 | ||||||||
CPU空闲 | 内存空闲 | 网卡占用 | |||||||
7读3写 | 86.40% | 11G | 134MB/S | ||||||
双NAS网关 |
| 100Mb/s负载性能记录 | NAS网关资源占用 | ||||||
稳定读 | 稳定写 | 稳定读 | 稳定写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
NAS1 | 4*1 | 4*2 | 88.00% | 10G | 54MB/S | 88.30% | 10G | 113MB/S | |
NAS2 | 2*1 | 4*2 | 87.10% | 4.5G | 32MB/S | 87.80% | 4.5G | 108MB/S | |
| 50Mb/s负载性能记录 | NAS网关资源占用 | |||||||
稳定读 | 稳定写 | 稳定读 | 稳定写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
NAS1 | 4*2 | 4*4 | 98.10% | 10G | 57MB/S | 88.30% | 10G | 109MB/S | |
NAS2 | 4*2 | 4*4 | 98.50% | 4.5G | 64MB/S | 85.20% | 4.5G | 111MB/S | |
| 极限性能记录 | NAS网关资源占用 | |||||||
极限读 | 极限写 | 极限读 | 极限写 | ||||||
CPU空闲 | 内存空闲 | 网卡占用 | CPU空闲 | 内存空闲 | 网卡占用 | ||||
NAS1 | 4*1 | 4*1 | 97.80% | 4.5G | 73MB/S | 84.60% | 4.5G | 161MB/S | |
NAS2 | 4*1 | 4*1 | 97.60% | 10G | 92MB/S | 90.80% | 10G | 136MB/S | |
| 极限混合读写 | 极限混合读写 | |||||||
CPU空闲 | 内存空闲 | 网卡占用 | |||||||
NAS1 | 7读3写 | 96.70% | 10G | 74MB/S | |||||
NAS2 | 7读3写 | 93.20% | 4.5G | 52MB/S |
附录1:操作系统调优
对于操作系统,为了保证自身的运行稳定性和安全性,其相关的网络默认配置和系统内核默认配置都不足以达到Samba使用的最佳性能,以下为调优的参数内容:
- /proc/sys/net/core/rmem_default 定义默认的接收窗口大小;
- /proc/sys/net/core/rmem_max 定义接收窗口的最大大小;
- /proc/sys/net/core/wmem_default 定义默认的发送窗口大小;
- /proc/sys/net/core/wmem_max 定义发送窗口的最大大小;
- /proc/sys/net/ipv4/tcp_window_scaling 启用 RFC 1323 定义的 window scaling;要支持超过 64KB 的窗口,必须启用该值。
- /proc/sys/net/ipv4/tcp_sack 启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段);(对于广域网通信来说)这个选项应该启用,但是这会增加对 CPU 的占用。
- /proc/sys/net/ipv4/tcp_fack 启用转发应答(Forward Acknowledgment),这可以进行有选择应答(SACK)从而减少拥塞情况的发生;这个选项也应该启用。
- /proc/sys/net/ipv4/tcp_timestamps 以一种比重发超时更精确的方法来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。
- /proc/sys/net/ipv4/tcp_mem 确定 TCP 栈应该如何反映内存使用;
- /proc/sys/net/ipv4/tcp_wmem 为自动调优定义每个 socket 使用的内存;
- /proc/sys/net/ipv4/tcp_rmem 与 tcp_wmem 类似,不过它表示的是为自动调优所使用的接收缓冲区的值。
- /proc/sys/net/ipv4/tcp_low_latency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项应该禁用。
- /proc/sys/net/ipv4/tcp_westwood 启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN 通信来说应该启用这个选项。
- /proc/sys/net/ipv4/tcp_bic 为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于 WAN 通信应该启用这个选项。
根据上述描述,本文中采用的网络参数和系统内核参数如下:
kernel.shmall = 2097152
kernel.shmmax = 12884901888
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144
附录2:Samba调优
Samba服务具有很多有关于传输性能的隐藏参数,参考官方手册,得到以下几个比较关键的参数:
- follow symlinks 此参数在Windows平台不支持这种符号连接,我也不需要在共享里有这个东西,所以关闭
- wide links,关闭此参数
- oplocks和locking这两个决定samba是否对文件进行lock测试,如果一个用户以write方式打开了这个文件,那么其它用户就不能再以write打开,这两个东西很费内存,也同样会降低samba的性能。 另外,我有很多个share,其中只有两个是所有人都可以写的,其它的都只有一个用户能写,对于后者,不需要打开这个,因为共享设计就是别人无法写。 那么就在global里面把这几个和lock有关的参数关掉,在那两个所有人可以写的share再打开。
# Some otherperformace tuning options
# disable links and symbol links
follow symlinks = no
wide links = no
strict locking = no
fake oplocks = yes
oplocks = no
附录3:SNFS调优
使用文件系统自带的mount命令进行挂载时。文件系统占用操作系统的内存使用空间有限,由于此次测试的服务器配置较高,所以将内存使用调高。使用如下命令mount
mount.cvfs -t cvfs -o cachebufsize=524288snfs1 /stornext/snfs1