怎么转眼就到了“第五代存储系统”了？

最新推荐文章于 2021-01-03 02:43:32 发布

大话存储

最新推荐文章于 2021-01-03 02:43:32 发布

阅读量847

点赞数 1

本文链接：https://blog.csdn.net/TV8MbnO2Y2RfU/article/details/102791240

版权

20年的腾飞时代

当年比尔盖茨说640KB内存管够，结果今天竟然有几TB内存的服务器被用于内存数据库来承载互联网用户高速访问。

当年IBM发明第一块磁盘容量仅有几MB，体积2立方米。而谁又曾想到，如今一块机械硬盘已经可以容纳16TB的数据，体积只有一个手掌大小。

Times！技术的发展日新月异，眼花缭乱。在这20年的时间里，中国的IT腾飞发展，各大企业纷纷进入数字化转型，数字化的信息成为了关键生产力。

存储时代

我在2004年由于一次偶然的机会，开始了解存储系统。当时的存储系统正处于从DAS到SAN的过渡期，当时的知名的存储系统公司还能隐约回忆起来，EMC当然首屈一指，还记得当年叱咤风云的CX系列，几乎成了SAN存储的代名词。

（出处：Wikipedia.org）

当然，同时期的IBM在存储和服务器系统领域也是鼎盛时期，其从LSI贴牌的中低端DS系列成了屌丝最爱。EMC和IBM基本占据了中端存储领域的全部市场。低端领域当时还有大量玩家在，包括使用Adaptec Raid卡+SCSI外置JBOD搭建的DAS系统，存量巨大，这种玩法既廉价又好用，当时也有大量拥趸。

在高端市场，则是EMC、HDS、IBM三巨头的比武场，Symmetrix、USP、DS8000三足鼎立。EMC说它的直连矩阵就是牛，HDS说它的交换矩阵也挺牛；而IBM由于架构完全不同，想怼都找不着地方。

所以，当时的存储市场可谓是百花齐放百家争鸣，丰富多彩，孕育着大量机会。

如果要把一个个小鞭炮做成超级炸弹，所需要的系统当然是复杂且庞大的，优雅的，震撼的。而当原子弹研发成功之后，由鞭炮组成的系统要么退出舞台，要么，就适应这个全新的时代，重新驾驭新的事物。

硬盘是存储系统的基石，其无非三个关键属性：容量、性能、可靠性。对于机械硬盘，性能和可靠性已经无法提升了，然而容量这条腿却足够粗壮到能够继续支撑机械硬盘继续存活多年。

可以想象的是，如果没有固态硬盘几年内迅速普及，构建在机械盘之上的各类存储系统会一直风光无限至今，原因很简单，必须有一个系统来将鞭炮组合成原子弹，而硬盘这个小鞭炮的爆炸力多年来几乎原地打转。

事情在固态硬盘和万兆以太网迅速普及之后发生了质变。上世纪70年代就开始研究的分布式存储系统，就像现代GPU和FPGA让深度学习成为可行一样，迅速普及的固态存储介质和高速局域网络也让分布式存储系统成为了可能。首先，高速网络让分布式系统在软件层面上跨网络同步数据和元数据的性能变得可以接受，其次，固态存储介质以及超大容量机械存储介质让每个分布式节点使用同样配置的廉价服务器成为可能，因为每个节点不再需要链接本地扩展柜来获取足够的性能和容量，仅使用机箱内部插槽就可以满足多数场景的性能容量需求。这催生了大量分布式、超融合方面的开源闭源产品和厂商，也催涨了服务器销量，同时传统的SAN存储则受到了巨大冲击，而不得不改变以适应这个新时代。

这个变革更加速了局域网速的快速更新，200GE和400GE都已经出来了。而固态硬盘在经历了SLC的高价高速高寿命之后，走向了TLC/QLC的平民化路线，全面替代机械硬盘就是它们的下一个目标。

再看看业务驱动方面，要想富先修路，道路通畅了，随之而来的就是大量的生产力释放和无限的机会。移动互联网让数据暴涨，对存储系统的容量、性能提出了断代似的要求，这从另一头催生着存储系统的变革。

戴尔科技给出的5代存储模型

在2019年10月25日的戴尔科技大会上，戴尔科技联合IDC提出了5代存储发展模型，以及定义了第5代存储系统。

第一代存储：直连存储。此时的存储系统就是一个个孤岛，附着在每台服务器上，并供给该服务器使用。形态上可以是Raid卡+机箱内部若干块硬盘或者机箱外部JBOD，使用SCSI外置线缆连接外部JBOD，由于SCSI总线扩展性奇差，一个SCSI口最大只能接15块硬盘，所以一般只能接一级JBOD，不过可以用多个SCSI口接多个JBOD。SCSI时代的硬盘容量大多几十GB，转速5.4K到15k转/分不等。当时的业务应用背景比较简单，企业应用匮乏，无非就是OA，ERP，制造业，科研等几大细分领域，以结构化数据为主，说白了了就是关系型数据库作为支撑应用的第一级底层应用，以块存储为主，非结构化数据比例非常低，多为一些文档类，连照片都比较少（回想一下那时候一台数码相机多少钱？）

第二代存储：SAN、NAS存储系统。随着业务压力的不断提升和服务器数量不断增多带来的孤岛维护成本和数据备份等管理成本的增加，人们迫切需要将数据集中化、共享化管理，而随着百兆千兆以太网、FC等外域网络技术的成本不断降低到民用级，这个需求得以满足，于是存储系统进入了网络存储时代，服务器通过局域网而不是内部总线来访问存储系统。由于当时以太网速率不够高，而速率更高的Fibre Channel则被广泛用于SAN存储，NAS则由于运行文件访问协议而广泛使用更加友好的以太网。2000~2015这15年SAN和NAS最辉煌的的时代，而此时的业务系统相比之前其实并没有太多变化，但是由于经济不断发展，业务对性能和容量的要求也越来越高。有一些早期大数据类业务比如BI经营分析等逐渐被越来越多大型企业部署，但是支撑这些业务的底层架构依然还是SAN存储管理的大量机械硬盘来提升并发度从而获得可接受的性能。

第三代存储：统一存储。将SAN/NAS/Obj等数据访问方式集成到同一套系统中，将原本多个角色各自承载不同访问类型的存储孤岛又一次整合起来。按照存储系统的发展时间来看，的确是一代存储，但是这一代存储系统相比纯SAN/NAS其实区别并不大，也就是技术架构上讲没有什么创新。

第四代存储：基于闪存的存储系统。这一代存储系统完全是应对移动互联网时代对存储的容量、性能跃变式的需求而生的。这一代存储系统的特点是在软件架构上有较大的变革，之前驾驭一堆鞭炮的系统演变成驾驭一堆C4炸弹的系统。基于SAS 和NVMe SSD的全闪和混闪，以及经过充分优化的I/O路径协议栈、SSD性能/寿命均衡决策优化软件模块、数据冷热识别缓存分层热点预测模块等，是这一代存储的突出特点。而固态存储介质也让整个系统变得小巧紧凑，性能密度超高。

第五代存储系统：未来企业级智能存储。戴尔科技认为，第五代存储系统应当满足本时代业务特征，也就是：敏捷高速、有效容量、无缝接云、数据护航、AI赋能。

拿什么成就你，第5代存储？

这个5个特征里，我认为有效容量和AI赋能最值得思考。

固态介质固然好，但是要做到同等成本一比一替代机械硬盘，还不行。如果单就性能价格比而言，固态存储要远超于机械硬盘。值得一提的是，存储厂商的销售人员在做配置单的时候可能会隐约发现一个规律，在一些场景中，在满足容量和性能需求前提下，配置全固态盘系统的最终价格竟然与全机械盘系统的价格持平甚至有些还低于后者，这是怎么回事呢？原来，客户为了追求高IO并发，订购了容量较低的机械盘，但是数量庞大，单个机械硬盘的最高IOPS在200~400之间，而一块企业级SSD普遍在20K左右，能顶50块机械盘的量。

不过在相当一部分场景下，用户花同样的钱，只能配置较小容量的SSD，此时虽然性能也是足够甚至远超出机械盘，但比较无奈。针对这类场景，戴尔科技在今年6月份提出了“有效容量”的概念，同等容量下，将系统免费升级到全固态。还有这等好事？实际上，得益于戴尔科技在其存储产品内置的强大inline性能无损重删和压缩引擎，能够用更小容量的闪存存储存储更多数据，相当于把额外的容量利用计算资源补回来。

在戴尔科技给出的真实案例情况中可以看出，有效容量可以给用户带来较高的直接收益。

存储系统的QoS和故障模型很难用人工来建立和模拟，因为模型中包含太多隐藏背景和参数以及事件触发源，靠人来分析大量数据更多只是凭借经验来判断，误判率较高。该机器学习出场了，机器学习最擅长的就是从大量样本中寻找出给定的规律和参数，至于机器学习是如何学习出这些规律的，在《大话计算机》一书第12章中给出通俗的解释，在此就不再赘述了。

在本次戴尔科技峰会上，戴尔科技还宣布了在云平台方面的一系列进展和新增架构选择，以及5G、AI时代的产品及解决方案，边缘计算、海量数据存储以及云计算等都可以全方位支持5G应用。另外发布了全新戴尔易安信PowerEdge服务器，新增配备第二代AMD EPYC处理器，全面提升现代数据中心的卓越性能、管理功能和安全性。宣布了软件定义网络的新进展，让客户能够在降低成本的基础上，简化当今多云世界的网络。

现场展区呈现了戴尔科技集团深耕混合云、智能制造、人工智能和VR/AR四大生态系统，主题包括了围绕IT转型的“现代化数据中心解决方案”展台、多云至简的“戴尔科技多云战略”展台、适用于未来技术与应用的“第五代存储”展台、实现数字化变革“智能+”展台、提前体验5G 赋能行业创新的“5G+嵌入式解决方案及边缘计算”展台、“教育”“医疗”“能源”等行业解决方案展台，以及涵盖了13个领先解决方案的“动手实验区”，可供客户进行现场体验和咨询，让到场的嘉宾多方位感受前沿科技技术带来的魅力。

END

扫码入当当/京东直购《大话计算机》

七夕情人节520心形动态分割线