看88秒的视频，你就知道SDS的本质了

乐生活与爱IT

于 2017-11-12 00:00:00 发布

阅读量865

点赞数

本文链接：https://blog.csdn.net/urh3t1/article/details/78511052

版权

软件定义存储(SDS)不只是软硬件解耦，它的本质是存储即服务，它的先进性将体现在控制平面层。当下，SDS控制平面的最佳实践，就是利用存储策略驱动底层存储资源的部署和变更(也即数据重新布局)。下面的视频，可以让你看到变更存储策略后的效果，令人耳目一新。可以思考一下，当下有哪家存储，可以在业务层面或者Hypervisor层面，以如此简单并高效的方式实现存储QoS的调整？

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.4705882352941178" data-w="400" data-src="http://v.qq.com/iframe/player.html?vid=x050346gj4x&width=670&height=502.5&auto=0" style="display: block; width: 670px !important; height: 502.5px !important;" width="670" height="502.5" data-vh="502.5" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=x050346gj4x&width=670&height=502.5&auto=0"/>

打开视频后，可以看到：

1、事先创建好一个的虚拟存储策略，存储策略名叫FTT0_IOPS100，表示FTT=0和IOPS限制值为100；

2、一开始vSAN上的虚机上面运行的IOMeter，IOPS在1.7万上下；此时虚拟磁盘的存储策略名叫FTT1_Unlimited，表示FTT=1，IOPS值没有限制）

3、在同一个虚机里选择新的存储策略，也即FTT0_IOPS100，Apply(对应图形的套用)到全部，也即该虚机的主机命名空间和所有虚拟磁盘都施加这个新策略

4、点击确定后，再回去看IOMeter的性能界面。可以看到，几秒钟以内，IOPS就从原来的1.7万降到了100。

整个过程在线完成，当新策略施加后，底层vSAN存储池里，对应的部分存储资源，其数据重新布局。

在此，感谢VMware香港同事制作此视频，并感谢台湾同事Mark Lee的分享。

这个存储策略的在线变更，其实有着重大的意义。例如一些面向需要在线地、动态地变更存储资源（例如金融、零售等行业的促销活动，学校开学时的选课系统）的业务，以往由于传统存储变更存储资源的难度、复杂度、数据迁移的风险，往往迫不得已必须按照各个业务负载所需的最高性能，最大存储容量的总和来提前购买。有了围绕着业务，从上至下的存储策略变更，使得用户管理和变更存储资源变得更加灵活和方便。

然而看似简单的策略变更，其实蕴含着VMware在存储方面多年的经验积累。冰冻三尺，非一日之寒。

从外置存储诞生的二三十年以来，业务应用和存储就像是两个讲着不同语言的人，从来都不对话。业务应用无法感知存储，不知道自己运行所在的存储资源有何特性；同时，存储资源无法感知业务应用，也不知道上面运行的业务应用有何特点。只有靠人，也即管理员来完成这个衔接。

自VMware的ESX开始诞生之后，刚开始虚拟服务器、虚机和其所在的存储也无法相互对话和感知。随着VMware日益深化服务虚拟化的过程中，逐渐深入理解了存储。随即开始探索虚拟化和存储的结合，大约在2009年对外提出了VAAI的概念，并在2010年推出的ESXi 4.1发布了VAAI的功能。我猜想，VMware内部对于VAAI的研发，可能会是在2006年以前。

VAAI是“vStorage APIs for Array Integration”的缩写，它包含了至少四大特性：

1）Full Copy或CopyOffload；

原来，当VMware从模板来创建一个新的虚拟机时，无论是FC、iSCSI或NFS系统中，都需要对其中存储的源数据文件从头到尾进行一次全读取操作，然后再重新写入到新的目标地点。这样的过程会极大地增加ESX宿主机的CPU负载，而且会导致新虚拟创建的过程去占用大量原本应该用于支持现有生产虚拟机运行的宝贵的IOPS资源。VAAI的Full Copy或Copy Offload功能，则可以通过在磁盘阵列内部实现从一个卷到另一个卷的智能拷贝过程来消除这种影响。

2）Block Zeroing

在虚拟磁盘文件内部同时存在着数据区（写有数据的扇区）和等待写入的空白区（空扇区）。原来，即便用于完成对组成该磁盘文件的大量空白扇区的迁移和写入，都需要发送大量重复的SCSI命令。VAAI的Block Zeroing功能，通过卸载VMDK清零负载来提高虚拟机配置速度，可以极大地节省该过程所需的SCSI命令数量。

3） Hardware Assisted Locking(硬件辅助锁定功能)或Scalable Lock Management，或Atomic Test and Set（简称ATS）

没有这一功能时，连续的VMFS操作可能会导致VMFS文件系统被临时锁定，包括：

使用VMotion迁移虚拟机；

创建一个新虚拟机，或者从一个模板部署一个虚拟机；

启动或关闭一个虚拟机；

创建一个模板；

建立或删除一个文件，包括快照。

硬件辅助锁定让ESX服务器将必要的锁定管理任务卸载到存储硬件上，避免整个VMFS文件系统被锁定。

4）Thin Provisioning Block Space Reclamation (UNMAP，空间回收)

原来，当虚拟机被删除或从一个存储迁移出去后，存储的精简配置卷并不会自动回收相应数据块，这就导致阵列管理工具报告比实际情况更多的空间消耗。UNMAP能帮助VMware实现空间的回收。

笔者曾经在给一家集成电路设计公司做DELL Compellent存储与VMware的集成测试时，发现：

在同一个datastore即CML_LUN01上生成200GB的 .vmdk文件, 禁用VAAI功能时，需要516秒，启用VAAI功能时，只需要187秒。

在网上还能看到其他的数据，不少数据表明，启用VAAI甚至能将虚机克隆的时间缩短到没有VAAI的十分之一还要少。

然而，VMware觉得VAAI还远未达到它所期望的状态。于是在几年后推出了VASA(vSphere APIs for Storage Awareness) 的1.0版，使得业务应用（也即vSphere这个Hypervisor）能够感知存储的特性，通俗来说，就是业务能“读”到存储的元信息。

到了2014年，VMware正式推出了VASA 2.0，它是Virtual Volumes技术框架的组成部分。这是一次质的飞跃，首次实现了业务应用与存储的双向感知，具体可体现在两个方面：

1、存储管理员在存储图形界面里，首次能了解到虚机的详细情况，例如有哪些虚机连接到这台存储上，这些虚机分配多大空间；每个虚机有哪些VMDK，大小和使用空间多少，有无快照，内存、SWAP占多少。这样存储也能感知前端虚机/应用了，这在以前几乎难以想象。

2、vSphere可以根据业务的需求，发送对于存储资源部署(符合一定的SLA)和变更的控制命令，也就是说业务能将元信息“写”到存储。

此时的Virutual Volumes是1.0版。

2016年8月，VMware推出了Virutual Volumes 2.0版，它的组成部分VASA对应的是VASA 3.0。

Virtual Volumes新增了如下特性：

1、Array-Based Replication Support(支持基于阵列的远程复制)

与以前的远程复制不同的是，vVol无需在灾备端事先部署好datastore；而且vVol能够提供细粒度的控制。Replication Group(可以视为故障切换的单位)允许将多个虚机放置在一致性组内。vVol还支持多个不同的灾备端。

2、Automating Disaster Recovery(灾难恢复自动化)

为管理员实现编排和自动化提供触发DR动作的方法；

3、vVol支持Oracle RAC

HP 3PAR是最早支持Virutual Volumes 2.0的阵列之一。前不久刚听说Nimblestorage也支持Virutual Volumes 2.0。下面是HP 3PAR在vCenter的存储策略设置的图形界面里，如何配置基于阵列的远程复制的截图：

首先，在vCenter里创建远程复制的关系。可以定义容灾的目标端、复制方式、RPO等信息。

然后，在创建虚机的存储策略的规则集(Rule-set)时，添加已经事先创建好的远程复制的关系

可以看到VMware SPBM不仅可以设定本地存储资源的服务等级，还可以设定远程灾备的配置。要知道，这些设定都是能精细化到虚拟磁盘这一颗粒度的哦。这使得，存储资源的管理围绕着业务为中心，越来越成为可能。

毫无疑问，在SDS的控制平面层，VMware SPBM具有远超同类的技术前瞻性，并且这些技术都已具体实现。VMware vSAN在全球的1万多个用户，也都是SPBM是实践者。而且，随着外置存储功能的不断丰富，以及vSAN突飞猛进地发展，我相信SPBM的框架会进一步得到丰富和完善！

---End---

在近来的IDC的市场报告里，我看到了IDC的进步，也就是将软件定义存储（Software Defined Storage）的市场报告纳入了它的法眼。

之所以说IDC进步，是因为早在2015年7月19日我撰写《软件定义存储之未来 - 十年后的存储排行榜会怎样？》时，我曾在文章里提到：

“也许，对于IDC, Gartner、ESG、Wikibon、Marketsandmarkets等第三方市场研究公司，当务之急是，梳理存储相关的分类，将内部外部磁盘存储系统、SDS、对象存储、云存储、超融合架构等做出清晰的界定，帮助用户方便选择，赢得更多用户的信任”。

很高兴在后来看到了IDC对于SDS的市场份额的统计和未来份额的预测。

最新的IDC相关的文章可以参见国内知名存储媒体 Dostor-存储在线的

《IDC：软件定义存储市场将达到162亿美元，HCI增长最快》

http://www.dostor.com/p/46465.html

不过令我稍有一些失望的是，时至今日，IDC在软件定义存储的市场统计上，还只是关注在“基于已有的标准化通用硬件平台，与硬件无关的存储软件产品”上，它包括对象存储、文件存储、块存储和HCI。也就是IDC所说的SDS-P。

备注： SDS-P is ”a new functional market added to the total storage software market that covers block, file, object, and/or hyper-converged software offerings that enable the creation of a storage system.”

而在我看来，软硬件解耦的只是软件定义的最初级的阶段。软件定义的本质是存储即服务，目标是为了虚拟化和云化所需的存储自动化。软硬件解耦是最基本的，也是最初级的，之后是池化也即虚拟化，高级阶段是自动化。详情可以参见《【PY原创】SDS之五：软件定义存储的现状 – 自动化篇》。

------