存储领域的极简架构指的是一个存储平台,一个数据中心。它的含义很丰富,如:一套软件栈支持多种介质,或者一套软件栈支持多种存储服务接口,例如文件、块、对象。
为什么出现越来越多的三合一、多合一?
我想,是因为速度、便利、成本等原因。其中的关键是,大多数人需要的是一个方便易用、成本节省的通用平台。这篇文章是近日看到北京青年报报道电影《金刚川》启发的。
一、电影
《金刚川》剧组只有3个月制作周期,三位导演、三个团队,他们是如何带领全剧组5000人完成了这份“三合一”的工作呢?
新华网2020-10-24有篇文章《金刚川“三合一”导演团队如何分工》有详尽的介绍。
看得出来,这个任务极其艰巨,每个导演的价值观、叙事方式、拍摄风格、偏好等都不一样,如何让电影呈现为一个整体,并且尽可能顺畅、不重复、无违和感,其中大量的沟通工作,妥协、权衡,相互补充和成就,也是必不可少的。当然,这种赶工之作,会给影片带来一些瑕疵。
不过,类似这种,为了快速上线,或者宏大叙事下单个导演或单个剧组力有不逮的情况下,将来可能会有越来越多的电影、电视的创作采用这种方式,甚至形成工业流水线的模式。
二、手机
如下图所示,分别是便携式播放器、专业相机或摄像机,以及手提电话。以往我们外出,如果我们有这三种需求,恐怕需要背包来专门伺候它们。因为便利,它们合成了手机,而且手机还有很多的其他功能合成进来,计算器、闹钟、时钟、阅读、娱乐、交友等。
除非专业人员,或者对音质、影像、通讯等有着严苛的要求,
当这种多合一同时兼具便携、成本方面的巨大优势,而且性能还不错时,对于以往的产品的打击是降维攻击。
三、企业级存储
1、集中式存储 SAN和NAS的统一
我们先来看集中式存储,2007年,EMC为了阻击NetApp的增长,在市场策略、组织架构都做了调整,基于中端存储CLARiiON系列的基础上,推出了统一存储Celerra NS 产品线,集成了NAS(网络附加存储)、iSCSI和光纤通道连接的存储服务。其实就是CLARiiON存储+ Data Mover(NAS网关) + Control Station(控制终端)的松耦合架构,和旧的Celerra没有太多的不同。不过,大约在2009年后,EMC推出了Virtual Data Mover(简称VDM),虚拟机版本的NAS网关,之后又有了容器版本的VDM。
印象特别深刻的是,那时候EMC中国为了抢占NAS市场,甚至出现过用户买NS产品(也即CLARiiON SAN存储+NAS网关的组合),甚至比单买里面的CLARiiON SAN存储,价格还便宜的情况。
之后,SAN+NAS这种统一存储的方式,成了集中式存储的标配。例如曾经的DELL Compellent + FS8600,IBM V7000 Unified,HDS HUS等。
支持统一存储SAN+NAS方式的,还有浪潮存储的全闪HF系列,AS系列,如HF5000G5,HF6000G5,AS5600等。
2、集中式存储 混闪和全闪的统一
2010年~2013年,是闪存阵列初创厂商大放异彩的时候,例如Violin Memory、Pure Storage、Nimble Storage、SolidFire、Texas Memory Systems(简称TMS)、XtremIO。
回顾这些闪存公司,或许对我们有所启发:
2012年5月,EMC收购XtremIO(成立于2009年) 。EMC公司总裁ChadSakac声称,XtremIO将成为EMC发展历史上最快突破年销售额10亿美元大关的产品。
2012年8月,IBM收购TMS,产品系列改名为FlashSystem。
Violin Memory成立于2005年,2013年上市,2016年宣布破产,技术上可能缘于它的性能很好,但传统阵列的基础功能和高级功能,它实现得较为缓慢。
而成立于2009年Pure Storage在功能完善上迭代较快,后来居上,2015年上市,至今市场表现仍不错。
SolidFire成立于2010年,2017年8月被NetApp收购。
然而,耐人寻味的是,越来越多的大厂,更多地采用其原有的产品架构,通过替换为闪存介质,并针对闪存进行性能优化。例如DELL EMC高端全闪VMAX;IBM FlashSystem现在基于原有的V系列;NetApp更倾向于推荐其基于原有FAS的AFF,也即All Flash FAS。
出现这种混闪和全闪统一的趋势,我想可能的原因如下:介质发展、软件栈优化使得原有架构老树发新花,在保持原有丰富功能的前提下,性能大幅提升,逼近甚至超越专门的全闪存;另外,经过多年市场的磨合、验证、优化,稳定性、可靠性、使用习惯、服务和运维习惯、包括与原有系统的兼容(例如跨代容灾)等诸多因素。
浪潮的集中式存储HF/AS系列,便是一套软件栈来支持混闪存储、全闪存储。
3、分布式存储 文件、块和对象等存储服务的统一
1)VMware vSAN
2020年,VMware和NetApp先后发布了三合一的新特性或路标。
例如,VMware vSAN 7.0提供了原生的NAS服务– Virtual Distributed File System,这一新特性其实也并不意外。
早在2015年8月28日,VMware存储和可用性业务部门的CTO Christos Karamanolis就在其文章《VMware and theFuture of Storage and Availability》中表明了VMware vSAN的野心:要打造融合存储平台,不只是支持vSphere的块,还要支持容器、文件,甚至对象(如Rest API)。
Christos这篇文章的中文翻译,可以参见微信公众号 乐生活与爱IT 的《面向未来的软件定义存储平台》(或者参见本篇文章末尾的网址)。
2)DELL EMC
EMC Isilon,现位于DELL EMC PowerScale子品牌之下,支持NAS和S3接口(对象),但不支持块接口。
DELL EMC新出的PowerStore存储,支持SAN和NAS,但不支持对象接口。
3)浪潮存储AS13000
浪潮分布式存储从五、六年前,就坚定地走三合一、多合一(后来加入了对HDFS的支持)的道路,没有走弯路。这套分布式存储就是AS13000分布式存储,能够在分布式存储集群最小节点数(也即3个)同时支持文件、块和对象的接口。如下图所示:
随着三合一、多合一的趋势被更多的认可,越来越多的存储厂商也在往这个方向前进。不过,需要注意的是,有些厂商支持的所谓三合一或多合一,其文件接口并非原生的NAS,而是对象网关,或者HDFS方式,的简单文件接口,缺乏主流NAS的功能,如权限管理、限额管理、快照等基本功能。
四、为什么企业级存储服务要三合一?
我觉得有如下四点原因:
1、节省成本,方便运维
数据猛增,用户的运维复杂度越来越大。一个平台支持多种服务,可以减少因不同存储孤岛而增加的运维工作量。另外,还能在数据共享上提高效率,减少数据流动。例如,AS13000的多源零拷贝,能够让一份业务数据共享给多重应用、多个终端。
2、硬件发展迅猛,减少了多合一带来的不利影响
多合一要发挥好,需要做一些平衡。随着介质、硬件的发展,包括闪存盘、网络如RDMA和NVMe Over Fabric等的发展,能够抹平因平衡带来的影响。
3、云化、容器化的趋势
用户本地数据中心私有云化、容器化,已经成为一个不争的事实,这迫使一个存储平台必须支持多种业务、多种场景,而不同的场景所需要的服务接口是不一样的。
4、智能化的趋势
存储的管理越来越智能化,存储系统逐渐可以在内部根据业务动态需求做资源的调度,更好的发挥不同介质,不同接口下存储使用的效率。
五、未来存储趋势探讨
需要注意的是,随着新应用、新场景不断推陈出新,会对存储产生新的挑战,在某些细分场景,可能会催生出专有的存储。不过,通用存储平台的发展方向,我认为仍是多合一。
未来集中式存储和分布式存储会统一吗?我个人觉得,有这种可能,例如集中式和分布式 殊途同归,共同迈向 分布式全闪存 。但走向统一还需要一段时间,技术上需要类似高速网络且低延迟的技术如RDMA、NVMe Over Fabric等大规模普及(包括成本降低),技术之外,还有其他多种因素,例如:生态成熟、用户使用习惯的顺利迁移等。
抛砖引玉,欢迎大家指正。
感谢李铮鋆提供的建议。
本篇文章的一些索引:
1、新华网《金刚川“三合一”导演团队如何分工》
http://www.xinhuanet.com/ent/2020-10/24/c_1126651006.htm
2、Christos文章网址如下
https://blogs.vmware.com/virtualblocks/2015/08/28/the-software-defined-storage-platform-of-the-future/
3、DELL EMC PowerScale和PowerStore
https://www.delltechnologies.com/lv/storage/powerscale.htm#share
https://dl.dell.com/topicspdf/pwrstr-hcg_en-us.pdf
4、乐生活与爱IT 《面向未来的软件定义存储平台》
https://mp.weixin.qq.com/s/3WYCKCFS8mzOj-pGuOt_Ig
5、浪潮存储
https://www.inspur.com/lcjtww/2526546/index.html