微软超融合+混合云：源自Azure技术的超融合架构

---------------------------------------------------------------------------------------------------------

2021年5月更新：

Azure Stack HCI 2021年5月10日正式落地Azure世纪互联，中国Azure的用户可以更简单的在本地的数据中心建立微软混合云，请阅读我近期更新的三篇的文章：

四年后看微软第二代超融合系统_SDDC 技术前沿-CSDN博客      

微软超融合进化： Azure Stack HCI集成系统为何成为最佳选择？_SDDC 技术前沿-CSDN博客

微软混合云Azure Stack HCI正式在华商用_SDDC 技术前沿-CSDN博客

 ---------------------------------------------------------------------------------------------------------   

    微软Azure上市以来一直受到业界的瞩目，除技术一直稳居Gartner魔力象限领导者外，同时营收业绩骄人，年增长率基本在100%以上。微软的云战略虽然一直是这几年重心，但是他并没有放弃私有云市场，而是利用Azure上成功的技术帮助企业进行数据中心转型（Transform the Datacenter）。

 

超融合的核心是软件定义数据中心

       超融合基础架构称为Hyper-ConvergedInfrastructure（HCI），是在融合架构发展之后新兴的软件定义数据中心基础架构。超融合将计算和存储节点融合在一起，利用最新的闪存技术和网络技术，构建低延迟高IOPS的软件定义存储，以及更加高效的计算集群。超融合架构更加灵活，资源可以随意缩放，部署和管理更加简单和统一。正因如此，超融合基础架构更加接近公有云的技术架构，如微软就将Azure最新软件定义存储（SDS），软件定义网络技术（SDN）融入到微软超融合架构中，同时与Azure公有云一样，能够支持多种计算业务场景，如：Windows或Linux的虚拟机或容器。

      超融合基础架构从2016年起快速发展，一是软件定义数据中心技术不断成熟，二是客户混合云需求越来越突显，三是新的硬件技术快速发展。

 

       微软超融合具备与Azure一样的基础架构，比如WindowsServer 2016数据中心版集成的软件定义数据中心所有组件，技术源于微软Azure。微软刚刚发布的Azure Stack也采用Windows Server 2016数据中心版的超融合基础架构。这种软件定义数据中心最终目标是将计算、网络、存储、虚拟化，以及硬件资源紧密融合在一起，搭建更简单，缩放性更强的计算环境。

       根据第三方机构数据显示注1：74%企业相信混合云环境能够支撑业务增长；82%企业已经有了混合云战略。Gartner在2016年初预计，超融合系统当年的增长率为79%，市场规模将从（2016年的）近20亿美元增长到2019年的约50亿美元，在融合系统市场占比达24%，并在2020年成为数据中心的主流。微软在发展公有云Azure同时，一直致力于企业混合云市场的发展。微软在2014年11月发布了第一代的混合云平台产品Cloud Platform System，产品基于Windows Server 2012 R2, System Center 2012 R2和Windows Azure Pack构建，集成流程和自动化管理，用户可获得与Azure一样的简单使用体验，支持备份到Azure，通过Azure Site Recover实现快速灾难恢复，并集成防病毒安全防护软件等。在2016年10月，产品更新为Windows Server 2016平台和Azure Pack 2.0，并且支持屏蔽的虚拟机等新的安全技术。同时在2017年9月发布Azure Stack，将Azure服务核心私有化的产品，与Azure公有云共享代码，API和管理门户。超融合基础架构整合混合云管理软件是更具灵活性、更高效的IT基础架构。

 

       数据中心在从10GbE向25GbE快速演进。10GbE网卡技术成熟，在虚拟化推动下，万兆网卡和万兆交换机基本是虚拟化数据中心的标配，同时RDMA技术应用场景越来越多，大大提升了虚拟机迁移的效率，降低软件定义存储的延迟。25GbE网卡在2016年上市，2017年许多硬件厂家已经在新发布的服务器上支持了25GbE网卡，支持VXLAN和NVGRE硬件卸载，和RDMA（RoCE, iWARP）技术。同时25G接入交换机在2017年大量上市，比如支持Open Networking，DCB和100GbE上行等，提高超融合集群东西向带宽。

      存储技术飞速发展，传统SAS机械磁盘技术在性能上已成瓶颈，而TLC 3DNAND技术的发展已经让SSD的每GB成本非常接近与HDD。IOPS一直是衡量存储性能重要数据，比如IntelP3700:随机读取(100% Span) 450,000 IOPS，随机写入(100%Span) 175,000 IOPS注2。与此同时应用对于存储延迟要求越来越高，NAND固态盘延迟降低到100微秒，而NVMe将这一数值进一步降低到10微秒。

 

       微软S2D软件定义存储技术将10GbE/25GbERDMA网络技术和SSD/NVMe/NVDIMM存储技术高效的结合，构建了高性能低延迟的本地存储，同时有通过软件技术实现数据容错。超融合架构让存储和计算靠的更近，让计算的效率大幅提升。由于架构简单，不需要专用的存储网络，还能降低存储的购买成本。超融合不但未客户节约了成本，降低了运维的难度，还为客户轻松上云做好了准备。

 

如何借助软件定义数据中心提升效率？

       随着数据中心的规模越来越大，网络越来越复杂，存储容量日益增加，应用可用性要求越来越高，无论是云服务器提供商还是企业用户，对软件定义数据中心（SDDC）的青睐日益明显。微软在某些新技术领域属于倡导者，大家可能并不熟悉，最早的并被广泛认可的SDN组织ONF（Open Networking Foundation）就是由微软、谷歌和Facebook联合发起的（ONF用于定义SDN标准和推动SDN的产业化）。微软在SDDC概念被提出来之前，便提出了数据中心转型（Transform the Datacenter）的构想。数据中心转型和SDDC的目标和技术实现如出一辙，微软长期实践着数据中心转型的目标。截止到2017年微软Azure全球44个数据中心，数据中心数量已经超过AWS和Google的总和。百万级的服务器数量，提供IaaS、PaaS和SaaS的各类服务，庞大的数据中心“硬朗”的外表里通过云平台架构植入了这颗“微软的芯”。数据中心设计理念和思路在不断更新迭代，所使用的软件技术也不断推陈出新。微软不仅在Azure实践着数据中心转型的目标，还将最新的技术带给客户，帮助客户实现自有数据中心向混合云的转型升级。

       20年磨一剑，WindowsServer锻造出了很好的数据中心基因，尤其在基础架构层面的影响力，活动目录，文件服务器，组策略等等，以及WindowsServer所支持的庞大用户群的Exchange、Skype forbusiness和SQL Server ……总之，在x86市场占有绝对优势的Windows Server一直默默耕耘，紧跟技术发展趋势，WindowsServer 2008实现了软件定义计算（Hyper-V服务器虚拟化）的从0到1，Windows Server 2012实现了SDS和SDN的从无到有，WindowsServer 2016实现了容器技术以及SDDC的技术全面升级。在详细了解微软软件定义数据中心之前，我们先来简单回顾在微软SDDC三个核心技术：软件定义计算SDC，软件定义存储SDS和软件定义网络SDN的技术发展历程。

 

       微软Hyper-V不断发力，从Hyper-V1.0发展到Hyper-V3.0，依靠成熟的功能和完善的技术获得了不错的反响。WindowsServer 2008刚发布就备受关注，一举进入Gartner服务器虚拟化高等级象限，充分被分析师和市场所看好。在WindowsServer 2008 R2发布不久便一个健步越到了虚拟化魔力图第一象限，在之后几年时间里不断提高市场占有率，其功能不断完善和成熟。2015到2016年，Windows Server服务器虚拟化凭着不俗的表现稳稳占据着Gartner魔力象限的第一象限，并且不断向第一象限更具挑战性的位置攀升。

       在2016年秋季发布的Gartner魔力象限里微软服务器虚拟化和VMWare的距离进一步缩小。

      云技术的快速发展冲击的传统存储领域，以太网技术和存储介质的发展推动了软件定义存储技术进入快车道。2012年，Windows Server 2012引入存储空间技术，正式涉足软件定义的存储领域，支持横向扩展文件系统，以及最新的SMB3.0和SMB Direct（支持RDMA网卡），支持重复数据删除技术等。第二代的SDS增强了存储层技术，实现冷热数据自动分层，并支持双重奇偶校验的容错技术。第三代也就是在Windows Server 2016数据中心版集成的功能S2D（Storage Space Direct），真正实现计算和存储的超融合，并且支持多种新存储介质：NVMe和NVDIMM。随着Windows Server 2016的更新，S2D的功能将不断增强。

       Windows Server除了正在不断扩展网络能力，为了完善服务器虚拟化还在和网络硬件厂家就某些技术点展开深度合作，SR-IOV，VMQ，vRSS，IPSec任务卸载、QoS等虚拟化网络加速技术正逐渐集成在服务器虚拟化里。微软在WindowsServer 2012上第一次开始了SDN技术的尝试，并联合Intel、戴尔、Broadcom和Emulex等公司共同开发了NVGREOverlay隧道封装协议，结合RRAS网关技术和硬件网关技术实现了较为完整的SDN服务。Windows Server 2016 SDN使用了使用更为广泛的Overlay隧道协议——VXLAN，并同时新增了NFV投资。

 

微软SDDC如何降低您的运维成本和复杂度？

       微软软件定义数据中心，底层为经过认证和测试的标准化服务器和网络硬件，通过统一管理的平台将网络、计算和存储以软件定义方式实现传统数据中心的所有功能，这一切技术源于微软Azure。（如下图）

 

1.   增强工作负载移动性，改善网络安全性

       传统的网络基础架构是死板且复杂的，管理员需要花费大量时间以部署需要对网络进行某些改动的工作负载，并且这一过程非常容易出错。通过采用软件定义的网络(SDN)模型进行部署和管理，组织可以实现更快速的缩放并提高敏捷度。使用SDN模型后，每个工作负载和租户将被部署至一个相互重叠的网络中，通过虚拟化的服务满足工作负载的需求，例如交换、路由、负载均衡、防火墙，以及其他边缘服务。因此IT将可以在无须更改物理网络基础架构的前提下，在本地、Azure云，以及服务供应商的云中实现自动化的工作负载部署。SDN还有助于保护防范网络攻击。IT可以根据威胁向量的不断变化，动态调整工作负载保护措施，并进行更精确的建模，快速更改网络划分和所实施的安全策略。

2.   降低存储成本

       在一个高度虚拟化的环境中，底层存储系统会影响到整个环境的整体性能。传统手工方式配置的存储系统，专用复杂的存储网络，无法符合软件定义数据中心高度灵活的架构。WindowsServer 2016数据中心版中新增的软件定义的存储功能，例如存储空间直通（Storage SpaceDirect，及S2D）、存储复制、存储QoS、存储分层、高速缓存以及数据去重等技术，利用多节点实现数据容错，可通过策略和自动化机制提升数据中心运维效率，降低存储系统的管理成本。

3.   可信的安全平台

       网络罪犯愈加专业，会通过各种精巧的策略入侵您的数据中心，获取关键的业务数据。使用来自不同供应商的多个工具配置解决方案，这种做法只能造成不必要的安全负担。在Windows Server 2016数据中心版中，虚拟化平台内建的安全技术可保护虚拟化计算平台最基础的构建块：虚拟机。屏蔽的虚拟机是域控制器、证书服务器等关键业务系统的理想选择。这些虚拟机只能运行在指定的硬件上，就算虚拟机无意外泄或被恶意管理员盗取，其中的数据依然处于加密状态。凭据防护、设备防护等其他功能也可以保护虚拟机中存储的凭据，阻止恶意程序的运行。

      IT 部门需要努力确保黑客无法进入企业网络。WindowsServer 2016内建了新增的网络功能虚拟化防火墙，可以帮助组织将防火墙与软件定义的网络环境全面集成，并将防火墙自身设置的自动化和编排纳入计算环境的变更中，借此提升安全性和运维效率。

4.   丰富的基础架构管理解决方案。

       针对不同运维模式，Microsoft提供了种类丰富的基础架构管理解决方案。除了WindowsServer提供的用于自动化管理的PowerShell工具，微软还有由来已久的成熟方案SystemCenter。SCVMM除了可以对SDS和SDN进行部署和管理，除此以外，System Center还提供了监控、自动化编排、备份和服务管理等组件。同时Windows Azure Pack能帮助用户构建如Azure一样的管理员门户和用户自服务门户，让用户获得和在使用Azure一样的使用体验（如下图）。

 

5.   模块化的硬件设备

      采用经过S2D方案测试认证的工业标准X86服务器和高性能机柜接入交换机，可以像拼乐高积木一样按需堆叠，灵活缩放。服务器支持Intel最新Scalable Silver/Gold/Platinum处理器，较上一代产品可以提升50%以上虚拟机密度。服务器存储针对软件定义存储设计优化结构，能有效提升单节点存储容量，并可以支持不同类型闪存和磁盘。网卡采用支持NVGRE硬件卸载和RDMA（RoCE, iWARP）10GbE或25GbE。配置TPM2.0可启用Windows Server 2016数据中心版的屏蔽的虚拟机功能。配置服务器远程管理卡，可以将硬件生命周期管理套件集成在SystemCenter中，实现软件和硬件统一管理。

 

业界第一款基于微软超融合就绪一体机产品：S2D Ready Nodes

       S2D就绪节点一体机（Dell Microsoft S2D Ready Nodes）采用微软超融合技术，整套方案硬件+软件+服务一体化，适合中小企业基于Hyper-V服务器虚拟化和容器（Windows或Linux），以及VDI解决方案和各类微软应用如：SQL Server、Exchange等。产品可以从2节点起配，最大扩展到16节点，支持虚拟机规模从120个虚拟机最大到1000个虚拟机规模，可靠性高：可以最多允许2个节点离线，灵活度高：可以2-16个节点随意增减节点。S2D ReadyNodes所有硬件配置经过验证和测试，保证最佳兼容性和可靠性；工厂预装正版Windows Server 2016数据中心版，减少人工部署时间，驱动和系统可靠性经过Dell测试和认证；无需再购买Windows Server虚拟机授权。

更新：关于超融合基础架构的选择，请参考最新文章《微软超融合进化： Azure Stack HCI集成系统为何成为最佳选择？_SDDC 技术前沿-CSDN博客》

 

有人会问，谈这么多技术架构，实际性能怎么样？我们来看一组微软的4节点25GbE网卡测试数据，全闪存配置（NVMe+SSD，NVMe只做写缓存）

硬件配置：

• DellEMC PowerEdge R730XD
• 2x Intel® Xeon® E5-2697v4 (18 cores @ 2.3 GHz)
• 128GiB DDR4 DRAM
• 4x 800GB Dell Express Flash NVMe SM1715
• 8x 800GB Toshiba PX04SHB080 SSD
• Cavium FastLinQ® QL41262H 25GbE Adapter (2-Port)

       使用VMFleet测试IOPS，每个VM运行DISKSPD,4KB IO 90% read and 10% write 不同队列深度数据：117万 IOPS

 

 

数据来源：https://blogs.technet.microsoft.com/filecab/2017/09/21/storage-spaces-direct-with-cavium-fastlinq-41000/

 

如果节点增加，性能也同时线性增加：16个节点共704个VMs

硬件配置：

• 2x Xeon E5-2699v4 2.3Ghz (22c44t)
• 128GB DRAM
• 4x 800GB Intel P3700 NVMe (PCIe 3.0 x4)
• 1x LSI 9300 8i
• 20x 1.2TB Intel S3610 SATA SSD
• 1x Chelsio 40GbE iWARP T580-CR (Dual Port 40Gb PCIe 3.0 x8)

4KB随机读（32 OIO），IOPS达到了约500万！！！

 

 

 数据来源：https://blogs.technet.microsoft.com/filecab/2016/07/26/storage-iops-update-with-storage-spaces-direct/

 

 

简单易用、高可靠性的超融合架构

       微软全新的超融合架构，通过S2D软件定义存储技术，提供高性能、低延迟、简单易管理的软件定义存储。同时结合微软先进的Hyper-V虚拟化技术和网络控制器SDN技术，为用户构建灵活的超融合架构。特别适用于Hyper-V虚拟化，VDI，SQL Server等业务场景使用。

 

下一篇为大家带来S2D技术深入讲解。

 

 

注1：数据来源: 1. Avanade, Global Study:Hybrid Cloud–From Hype to Reality (Dec 2014); 2.RightScale State of the Cloud Report, 2015

注2：数据来源https://ark.intel.com/products/79620/Intel-SSD-DC-P3700-Series-2_0TB-12-Height-PCIe-3_0-20nm-MLC

 

 

 

作者介绍：

 

高毅 Jason Gao Email：Jason.gao@qq.com 微信号：XMGAOYI

IT行业12年技术和培训相关工作经验，曾在Dell等公司任职，目前为微软OEM产品技术专家。丰富的项目管理和数据中心方案构架经验，熟悉数据中心硬件架构，以及SDDC解决方案。