Cisco HyperFlex 超融合系统

 


 

 

 

 

 

 

 

 

1.     前言

1.1、  测试背景

   虚拟化技术是云计算的关键技术之一，随着云计算技术的逐步推广， 虚拟化环境下传统集中存储架构被越来越多地诟病，超融合架构越来越多地成为虚拟化环境中的首选基础架构。由于其横向扩展、快速部署、易管理、节省机柜空间和耗电等，已在制造、金融、电信、电力等行业的数据中心领域得到部署和应用。

   Cisco HyperFlex 作为业界领先的超融合虚拟化平台厂商之一，能够更加快速、高效、稳定的支撑起众多企业的虚拟化环境。

 

1.2、  测试目的

   此次测试需要达到以下目的：

  • 验证CiscoHyperFlex 超融合架构的整合功能。

  • 验证CiscoHyperFlex 基于VMware虚拟化管理套件的功能特性

  • 验证CiscoHyperFlex 超融合架构的可靠性及冗余特点

  • 验证CiscoHyperFlex 系统存储IOPS性能表现


1.3、  测试环境

CiscoHyperFlex 超融合虚拟化测试平台配置如下：

设备型号

每节点（共三个节点）

CPU

内存

硬盘

网络

FI-6268(2台)





UCS节点（3台）

E5-2630V4

256GB

SSD:120GB  *1

SSD:489GB*1

HDD:1.2TB*1

10GB  SFP+ *2

核心业务交换机(1台)

1台Cisco N9K 核心交换机

1.4、  网络拓扑

Cisco HyperFlex 测试环境网络拓扑图：

spacer.gif

软件名称

软件描述

备注

vCenterServer

vCenterServer6.0

VCSA6.0  (SuSe Linux)

DNS/NTP

WindowsServer2012R2

AD/DNS/NTP

IOmeter-1.1.0  for Win

存储性能测试工具

每个节点部署一个Testing VM,使用Windows Server2008R2

HCIBenchv1.6.1.0

VMware  HCI 超融合架构性能测试软件

通过OVF 导入该测试软件虚拟机

1.5、  网络地址规划

   每个节点有2个万兆端口，分别连接2台万兆FI交换机，FI交换机使用trunk口上联到用户三层交换机。2台FI交换机管理端口通过三层交换机上连至用户已有的管理网络。

1.5.1、   IP地址规划

网络

Management

Data

节点

Hypervisor/VMotion

StorageController

Hypervisor

StorageController

Node-A

192.168.207.111

192.168.207.114

1.1.1.11

1.1.1.14

Node-B

192.168.207.112

192.168.207.115

1.1.1.12

1.1.1.15

Node-c

192.168.207.113

192.168.207.116

1.1.1.13

1.1.1.16

Gateway

192.168.207.252

192.168.207.252

N/A

N/A

HypervisorClusterManager

192.168.207.117

Installer

192.168.206.11

DataClusterManager

1.1.1.17

DNS

N/A

NTP

192.168.206.1

1.5.2、   VLAN规划

VLAN ID

IP地址段

网关

用途

备注

305

192.168.207.x

192.168.207.252

VM管理、VM业务

FI带外管理

100

1.1.1.x

N/A

分布式数据存储


1.5.3、   用户名密码规划

分类

用户名

口令

连接方式

FI Node

admin

Cisco123

MMC

CVM

root

Cisco123

SSH

ESXi

root

Cisco123

SSH/MMC

IPMI

admin

Cisco123

MMC

vCenter

administrator@test.com

Abc@123.

HTTPS、MMC

NTP/DNS

test.com\administrator

abc123.

MSTSC

 

2.     HyperFlex综合功能测试

2.1、  IOmeter性能测试

2.1.1、   概述

   性能测试主要考验Hyperflex系统读写的IOPS、响应延迟和吞吐带宽。

   如果用户需要部署VDI虚拟桌面或数据库应用、文件服务等对存储读写有要求的应用，则会关注在Hyperflex平台上，不同应用场景的应用业务性能将达到的效果。

   建议使用IOmeter进行IOps的性能测试，一个在存储领域广泛使用的性能测试软件，企业用户比较认可通过该软件跑出来的结果；另外该软件操作也比较简单，运行在Windows 2008/2012之上，图形化的界面管理。另外在VDI环境测试也可以使用HCIBench软件模拟出批量创建虚拟机并通过这些虚拟机同时运行脚本测试读写性能。

   为了跑出最大的性能，建议在每台Hyperflex Node Server部署一个安装了Windows操作系统+IOMeter_VM，通过IOmeter提供的Manager组件同时把这几个IOmeter测试Agent统一管理，同时测试性能，获得累加后的性能数据。

2.1.2、   IOmeter 基本I/O性能测试数据

测试场景

总IOPS

读IOPS

写IOPS

平均响应时间(毫秒)

平均读取响应时间(毫秒)

平均写入响应时间（毫秒）

4K  30%写/70%读/100%随机

86562.81

60730.04

25832.77

4.4

2.2

9.7

4K100%读/100%随机

268567.53

268567.53

N/A

1.42

1.42

N/A

说明：测试时长25分钟左右。

2.1.3、   测试步骤

   创建IOmeter集群，在每个Hyperflex Node上创建一个VM（运行windows+IOmeter）,其中Test1运行IOmeter控制台（管理多个IOmeter Manager）和IOmeter Manager（实际跑性能的程序）；其他TestX运行IOmeter Manager。

   加入集群操作步骤如下：

C:\IOmeter>Dynamo–I 192.168.206.23 –m 192.168.206.24

192.168.206.23是Remote IOMeter Server 控制台，192.168.206.24 是加入集群的Manager。

spacer.gif

spacer.gif

   每个测试的虚拟机(win2k8-iometer1、win2k8-iometer2和win2k8-iometer3)都新添加8块虚拟磁盘，每块虚拟磁盘大小为10GB。使用2个SCSI控制器；每个测试虚拟机配置8个vCPU和8GB内存，进入每个测试虚拟机安装并运行IOmeter。

   每个测试虚拟机有8个Worker,设置每个Worker对应一块单独的盘，这样压力足够大。

   将各IOmeter Manager注册到IOmeter控制台上。每个IOMeterManager会自动生成Worker线程，把CPU撑满。

   在每个Worker中选择目标盘/测试模板和结果刷新周期。

spacer.gif

spacer.gif

   设置测试时间为30分钟。

spacer.gif

 

2.2、  VMware HCI Bench测试

2.2.1、   测试环境

   通过HCI Bench部署20台虚拟机，分布在3台HX节点上，每个VM的参数如下表所示：

GuestOS

vCPU

Memory

Disks

Disk Size

Data Profile

Linux  photon

HCIBenchv1.6.1.0

4

4096MB

2块

16GB、30GB

70%Read  vs 30%Write 100% Random 4k block

 

2.2.2、   测试结果

spacer.gif

 

2.2.3、   测试流程

spacer.gif

2.3、  HyperFlex 高可用性测试

2.2.4、   测试概述

   在进行HyperFlex高可用性测试之前，需要检查准备工作是否已完成，以免在测试的过程中发生无法及时切换的情况。依次进行模拟故障测试时，需前一个故障在系统中已恢复消除，再展开下一个节点的测试。

   每个HX Node Server 已经预先部署了几个测试虚拟机。

2.2.5、   测试场景

测试场景

测试点

测试目标

测试条目/步骤

结果

主机节点关机

集群节点冗余测试

具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 依次人为关闭Node A、Node B、Node  C三件节点

  • 运行在该节点的虚拟机是否发生迁移

  • 观察其虚拟机运行应用是否受影响

  • 观察恢复时，运行在该节点的虚拟机是否发生迁移

  •         观察恢复时，其虚拟机运行应用是否受影响

运行在该节点的虚拟机丢包53个后恢复，该节点恢复后，虚拟机不再发生迁移，该节点恢复时，虚拟机运行不受影响。

FI 交换设备关机

FI互联矩阵冗余测试

具备主备集群模式的FI交换设备，不存在单一设备故障点

  • 依次人为关闭FI-A、FI-B设备

  • Standby节点FI顺利完成集群节点切换

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  •         观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

分别运行在三个节点上的虚拟机，3个不丢包，恢复时，分别运行在三个节点上的虚拟机,3个不丢包.

 

FI交换设备

上联链路断开

FI互联矩阵上联链路冗余测试

冗余的上联链路，不存在单一链路故障点

  • 依次人为关闭FI-A、FI-B设备的上联链路

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  •         观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

分别运行在三个节点上的虚拟机，有3个丢一个包，恢复时，分别运行在三个节点上的虚拟机，有2个丢5个包，另外1个不丢包。

节点链路断开

节点端口冗余

具备主备模式的万兆交换模块，不存在单一端口故障点

  • 人为拔掉任一个节点主机其中万兆端口连接线

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  •         观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包，恢复时，分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包

CVM虚拟机关机

CVM冗余测试

具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 人为关闭任一节点CVM虚拟机

  • 观察HyperFlex平台总容量是否发生变化

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  • 观察恢复时，HyperFlex平台总容量是否发生变化

  • 观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

只有一台虚拟机丢了一个包；运行不受影响，HyperFlex平台总容量没有发生变化，恢复时，虚拟机运行不受影响，HyperFlex平台总容量没有发生变化。

磁盘故障

SSD磁盘冗余测试

具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 人为拔出任一节点的480GB SSD磁盘

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  • 观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

三个虚拟机的IOPS都明显下降，恢复后，三个虚拟机的IOPS都明显回升。

硬盘故障

HDD磁盘冗余测试

具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 人为拔出任一节点的1.2TB HDD磁盘

  • 观察HyperFlex平台虚拟机运行应用是否受影响

  • 观察恢复时，HyperFlex平台虚拟机运行应用是否受影响

虚拟机运行不受影响，恢复时，虚拟机运行不受影响。

 

2.2.6、   测试小结

   Cisco HyperFlex基于分布式架构的平台 ，在对应磁盘，电源，计算节点，网络设备等单点故障时，有着完善的冗余保护。具有高可用性，保障业务的正常运行。

 

2.4、  系统监控功能

2.3.1    vCenter HX Plugin插件

   Hyperflex的存储服务管理通过vCenter HX Plugin插件完成，可以和vCenter一起完成对虚拟化资源的管理和监控。

   HX Plugin插件位于vSphere web client中vCenter Inventory Lists – Cisco HyperflexSystems下，直接点击Cisco HX Data Platform进入。

spacer.gif

2.3.2    HX 系统健康状态监控

   直接点击Cisco HX Data Platform进入Hyperflex系统管理界面，可以获取HX系统健康状态概览：

spacer.gif

   点击HX-Storage-Cluster - Summary，可以查看HX系统更加详细的信息

spacer.gif

2.3.3    Host健康状态监控

   点击HX-Storage-Cluster–Manage-Cluster，可以查看HX Node server的健康状态信息

spacer.gif

2.3.4    容量监控

   可以通过vCenter HX plugin监控HX的存储容量和每个Data Store的存储容量。

   点击HX-Storage-Cluster – Summary查看HX系统的存储容量状态。

spacer.gif

点击HX-Storage-Cluster–Manage–Datastore–Summary查看每个DataStore的存储容量情况

spacer.gif

   点击HX-Storage-Cluster–Manage–Datastore–Hosts查看每个DataStore的在每个Host上的状态情况

spacer.gif

2.3.5    故障监控

   点击HX-Storage-Cluster–Monitor–Events查看系统日志和告警

spacer.gif

2.3.6    性能监控

   点击HX-Storage-Cluster–Monitor–Performace查看cluster/host/datastore的IOPS/带宽/延迟

Storatg Cluster 性能状态

spacer.gif

Hosts 性能状态

spacer.gif

Datastores 性能状态

spacer.gif

 

2.5、  特色功能展示

2.4.1.  简单方式创建数据存储

   创建VMware Cluster所需的共享存储空间，HyperFlex提供更直接的方式，在HX Plugin创建存储容量后，VMware Cluster Host将直接被挂载，更加的方便

spacer.gif

spacer.gif

2.4.2.  通过UCSM统一管理HyperFlex基础设施

   UCSM提供原生的网络/计算/存储基础设置统一管理，管理功能实用性远超同类产品

spacer.gif

 

spacer.gif

2.4.3.  快速克隆虚拟机

   相比于VMware提供的虚机克隆功能，HX通过存储指针变化方式生成快照，快速高效，20个VM仅需要约7秒钟 使用Right-clicka VM > Cisco plugin > Ready Clone。

spacer.gif

 

spacer.gif

spacer.gif

 

2.4.4.  去重和压缩

   Hyperflex的去重和压缩是自动开启的，可以通过vCenter HXplugin来观察压缩和去重的效果。 在三台HX Server Node共克隆20个VM，使用同一存储空间，克隆完后，观察HX存储容量大小的变化。虽然新增了20个新的VM，但由于启用了去重功能，存储容量的增长比实际20个VM所需要的容量少很多。

spacer.gif

spacer.gif

2.4.5.  小结

  • 整体界面简洁，信息展示完整。

  • 优秀的系统高可用性设计，单节点故障不会影响系统运行

  • 运维简便

  • 优秀的报表功能

  • 完整的数据保护功能

   在随机读写上，HyperFlex的SSD热层技术保障数据在SSD层被充分利用。高IO表现完全优于传统的存储阵列。

3.     测试总结

3.1、  性能测试

   超融合架构可充分利用企业级的固态硬盘（SSD）。值得注意的是，传统的存储系统专门针对旋转介质而设计，所以很难有效利用SSD，因为SSD的访问模式截然不同。机械硬盘有旋转和时延，而SSD则不存在这些机械局限性。由于两种媒介之间存在这种不同，因此要求软件进行不同的优化，以实现最佳的性能。我们不能简单拿来专门针对机械硬盘系统编写的软件，然后希望它能够有效运用于固态硬盘。超融合架构利用SSD存储各种各样的常用数据——从虚拟机元数据到主数据存储，一方面通过分布式缓存获得高性能，另一方面通过永久存储实现快速检索。为了将SSD的性能优势最大化，Cisco HyperFlex超融合架构：

  • 保留SSD用于I/O密集型功能

  • 采用各种节省空间的技术，使得较小的物理空间能够存储大量的逻辑数据

  • 自动将“冷”数据或非常用数据迁移至机械硬盘

  • 高速、低时延、自动QOS保障的专用网络，保证了分布式存储对网络的苛刻要求

 

3.2、  冗余性测试

   Cisco HyperFlex 是一个高度可用的横向扩展型系统，不存在单点故障问题。数据分别存储于节点内的各个硬盘以提高性能，并在集群范围内进行复制以便提高其可用性。因此，即使硬盘或整个节点出现故障，也能够保证虚拟机的高可用性（参见2.2。2章节测试用例）。

3.3、  可管理/易用性

   HyperFlex提供一种非常直观的、基于Web的用户界面，使管理员能够完全掌控集群中的计算和存储资源。它将每台虚拟机映射至系统中的物理资源，使管理员能够轻松解决与虚拟机有关的问题。

   HyperFlex 是一种即插即用的解决方案，其中含有运行大量虚拟服务器或虚拟桌面所需的全部硬件和软件。管理员能够在几分钟时间内将其设置完毕，并开始创建虚拟机。