VMware vSAN性能测试那点不得不说的事

VMware vSAN性能测试那点不得不说的事

原创 李严省 虚实之路 2018-01-11

    最近几天在给客户做VMware SDDC产品POC测试，其中使用vSAN作为共为共享存储，刚好有机会全方位测试VMware vSAN性能。根据测试结果谈谈几点感想。

 

一、测试硬件环境

服务器：联想X3650 M5

CPU：Intel 2路8核Xeon E5-2630 v3 2.4GHz

内存：512GB DDR3

HDD：14*1.2TB SAS磁盘

SSD：2块S3710 400G SATA 2.5寸 MLC G3HS Enterprise SSD

Raid控制器：M5210（使用Raid 0模式）

网络适配器：2个10G网卡

       数量：3台服务器

交换机：2台10G网络交换机

 

 

二、测试软件版本

VMware vSpherevCenter:

       VMware-VCSA-all-6.5.0-7515524.iso

 

VMwarevSphere ESXi:

VMware-VMvisor-Installer-6.5.0.update01-5969303.x86_64.iso

 

三、vSAN配置情况

vSAN网络：

    vSAN网络如上图所示，vmnic4网络为活动网络，vmnic6为备份网络，当vmnic4网卡或对应的万兆交换机出现故障后，vSAN网络自动切换至vmnic6网络。强烈建议两个万兆交换机做堆叠。

 

磁盘组：

    每个ESXi主机有2个磁盘组，每个磁盘组由1块SSD和4块HDD磁盘组成。vSAN集群共3台ESXi主机，即共6个磁盘组，6块400G的SSD和24块1.2T SAS磁盘。

 

四、VMware vSAN测试情景

 

——测试场景1：测试虚拟机磁盘为4个磁盘,4KB随机读写——

测试虚拟机：

       虚拟机数量：3个（每个ESXi主机一个虚拟机）

       虚拟机配置：4vCPU,6G内存，4块10G磁盘

测试工具：

       测试软件：IOmeter

       Work数量：4个Worker

       IOStandard：16

测试内容：4K 70% Read 50%随机

测试结果

虚拟机1：

虚拟机2：

虚拟机3：

测试小结：

       虚拟机1：

              IOPS：         19904次/s

              吞吐率：       70.11MB/s

              平均延时：    3.56ms

              CPU使用率：8.09%

       虚拟机2：

              IOPS：         17948次/s

              吞吐率：       77.75MB/s

              平均延时：    3.21ms

              CPU使用率：8.67%

       虚拟机3：

              IOPS：         17417次/s

              吞吐率：       68.04MB/s

              平均延时：    3.67ms

              CPU使用率：8.31%

       通过本次测试3个虚拟机在平均IO延时为3ms左右的总的IOPS为19904次/s +17948次/s +17417次/s =55269次/s

 

——测试场景2：测试虚拟机磁盘为8个磁盘，4KB随机读写——

测试虚拟机：

       虚拟机数量：3个（每个ESXi主机一个虚拟机）

       虚拟机配置：8vCPU,6G内存，8块10G磁盘

测试工具：

       测试软件：IOmeter

       Work数量：8个Worker

       IOStandard：16

测试内容：4K 70% Read 50%随机

测试结果

虚拟机1：

虚拟机2：

虚拟机3：

测试小结：

       虚拟机1：

              IOPS：         31938次/s

              吞吐率：       124.76MB/s

              平均延时：    4.00ms

              CPU使用率：7.86%

       虚拟机2：

              IOPS：         28265次/s

              吞吐率：       110.41MB/s

              平均延时：    4.52ms

              CPU使用率：7.17%

       虚拟机3：

              IOPS：         32252次/s

              吞吐率：       125.98MB/s

              平均延时：    3.96ms

              CPU使用率：6.60%

       通过本次测试3个虚拟机在平均IO延时为4ms左右的总的IOPS为31938次/s +28265次/s +32252次/s =92455次/s

 

——测试场景3：测试虚拟机磁盘为8个磁盘，1MB顺序读——

 

测试虚拟机：

       虚拟机数量：3个（每个ESXi主机一个虚拟机）

       虚拟机配置：8vCPU,6G内存，8块10G磁盘

测试工具：

       测试软件：IOmeter

       Work数量：8个Worker

       IOStandard：16

测试内容：1MB 100% Read 100%顺序

测试结果

虚拟机1：

虚拟机2：

虚拟机3：

测试小结：

       虚拟机1：

              IOPS：         627.48次/s

              吞吐率：       627.48MB/s

              平均延时：    202ms

              CPU使用率：0.63%

       虚拟机2：

              IOPS：         540.35次/s

              吞吐率：       540.35MB/s

              平均延时：    235ms

              CPU使用率：0.65%

       虚拟机3：

              IOPS：         568.13次/s

              吞吐率：       568.13MB/s

              平均延时：    224ms

              CPU使用率：0.70%

       通过本次测试3个虚拟机在大IO连续读总的吞吐率为627.48 MB/s+540.35MB/s+568.13MB/s=1735.96MB/s

 

 

——测试场景4：单个虚拟机单个磁盘，1MB顺序写——

 

测试虚拟机：

       虚拟机数量：1个

       虚拟机配置：8vCPU,6G内存，1块10G磁盘

测试工具：

       测试软件：IOmeter

       Work数量：1个Worker

       IOStandard：16

测试内容：1MB 100% Write 100%顺序

测试结果

虚拟机1：

测试小结：

通过本次测试1个虚拟机在大IO连续写总的吞吐率为147.10MB/s

 

五、测试结果分析说明之1：虚拟磁盘数量越多性能越好

 

       通过以上3个场景的测试，vSAN不管是针对小IO的随机读写性能，还是大IO的连续读写都相当的漂亮，比一般中端的传统存储的性能都好。

       但细心的读者肯定能发现第1个测试场景和第2个测试场景测试内容的不同，2个测试场景都为4K 70% Read 50%随机，但二者的区别为第1个测试场景测试虚拟机的虚拟磁盘的数量为4，iometer的Work为4，即同时对4个虚拟磁盘进行读写。而第2个测试场景测试虚拟机的虚拟磁盘数量为8，iometer的Work为8，同时对8个虚拟磁盘进行读写。场景1的测试结果是3个虚拟机总的IOPS为55269次/s，场景2测试结果则达到了92455次/s，总体的IOPS提升非常明显。

为什么vSAN会出现这家种情况？就是测试的虚拟机的虚拟磁盘数量越多，总体性能越好？这得从vSAN的虚拟磁盘分布原理说起。默认的vSAN存储策略，一个虚拟磁盘会有两个副本，放在不同的ESXi主机的机械磁盘上。本次测试的ESXi配置2个磁盘组，每个磁盘组由4个机械磁盘组成，即一个esxi主机有8块机械磁盘。3个ESXi主机共24块机械硬盘，测试虚拟机也为3个，每个虚拟机的虚拟磁盘配置为4的时候，则只有12个虚拟磁盘，共计24个磁盘组件。而这24个磁盘组件不会刚好完全分散到24块机械磁盘上（有20多个其它应用测试虚拟机），即通过iometer对3个虚拟机进行IO性能测试时，就无法完全发挥24块机械磁盘的性能。测试场景2则每个虚拟机配置8个虚拟磁盘，3个虚拟机共24个虚拟磁盘，48个虚拟磁盘组件，相对场景1来说更能均匀的分散到24块机械磁盘上，3个虚拟机在进行IO测试时，就能充分发挥24块机械磁盘的性能。因此场景2的测试结果明显好于场景1。

 

场景1 测试时3台ESXi服务器机械磁盘的读写情况

 

场景2测试时3台ESXi服务器机械磁盘的读写情况

 

    通过两个场景ESXi主机磁盘的IO读写情况，刚好符合我刚才的推测，即有更多的机械硬盘参与到SSD缓存磁盘的刷盘中，相对vSAN整体IO性能会更好。

 

六、测试结果分析说明之2：vSAN连续IO读写性能并不差

       由上面测试分析结果可知，测试场景3的3个虚拟机共24个虚拟磁盘的连续大文件IO读总的吞吐率达到1735.96MB/s。连续大IO读写，此时vSAN的SSD缓存已经不能全部缓存这么多连续数据，需要持续不断的刷盘到HDD机械磁盘中，因此可见测试场景3时的3个ESXi主机的各机械磁盘的读写情况，如下图所示：

    

    测试场景4则为1个虚拟机1个虚拟磁盘的连续大文件写，则测试结果只有147MB/s，因为此时的SSD缓存只能往1块机械刷盘，因此测试结果和1块机械硬盘的速度相当，同时测试时间越久就越接受机械硬盘的速度。

 

七、总结说明

     经过以上内容分析，大家在经后对vSAN性能测试中应该心里有数了，即要完全发挥出vSAN性能，需要根据vSAN的硬件配置来设计测试场景。而不是随便创建一个虚拟机，分配1个虚拟磁盘，就进行vSAN性能测试，测试结果一看，vSAN性能这么差。

       特别针对测试场景4，我想大家一定心里有这么个问题，为什么我在传统的共享存储上创建一个虚拟机，也设置1个虚拟磁盘，但测试出来的性能却很不错呢？那是因为传统存储的一个LUN是横跨磁盘组里的所有磁盘，即一个LUN是由十几或二十几块磁盘组成的磁盘组，当然测试出来的测试很不错，如下图所示