最近在上vmware虚拟化的项目,使用的过程中发现虚机环境下数据传输出现较大的瓶颈,初步分析应该是在网络或者存储方面存在较大的问题。

首先是虚拟环境下数据传输的测试情况,虚拟环境使用刀片+存储方式。测试环境:

虚拟机: A、B 虚机文件均安装在7410上

虚拟机: E、F 虚机文件均安装在刀片本地硬盘上,数据文件放在7410上

7410nfs目录:test1、test2

局域网为千兆网络。

测试方法:

1.从虚机A拷贝数据到虚机B,35M,速度波动较大

2.从虚机E拷贝数据到虚机F,40M,速度波动较大

3. test1、test2用nfs分别挂在虚机A、B上,从A/test1拷贝数据到B/test2上,40M,速度波动较大

4. test1、test2用nfs挂在虚机A上,从test1目录拷贝数据到test2目录,60M,速度波动较大

6. 从虚机A的tmpfs拷贝数据到虚机B的tmpfs,80M,速度稳定

7. 虚机A上面建两个单独的目录1、2,从目录1中拷贝数据到目录2,速度大约20~40M/s

8.从虚机A目录1拷贝数据到挂在/mnt的nfs目录,平均约33M。

 

如果两台esx主机上都挂有nas存储,在两台esx主机上各建一个虚拟机,虚拟机是建在nas存储上的,当从虚拟机1 SCP数据到虚拟机2的时候,数据流向应该如下所示:

NAS存储->物理交换机->服务器网卡1->虚拟交换机1->虚拟机1虚拟网卡->虚拟机1系统

->虚拟交换机1->服务器网卡1->物理交换机->服务器网卡2->虚拟交换机2->虚拟机2-虚拟网卡>虚拟机

2系统->虚拟机交换机2->服务器网卡2->物理交换机->NAS存储

如果刀片的网卡为半双工的话,因为数据在网卡上既有上行也同时有下行,速度减半就很好理解了,但对于全双工的网卡似乎不应该出现这个问题。因为刀片和存储之间的物理交换机使用的人比较多,而且跳了好多跳,很怀疑是网络上存在问题,但是用iperf测试的时候网络是可以跑满的。很疑惑。。。

先把虚拟机网络和其他生产环境隔离看看吧,至少隔离以后相互之间的影响会小很多,也会比较容易容易排查问题。