存储领域下一个核心技术是什么？

最新推荐文章于 2023-03-02 23:13:03 发布

大话存储

最新推荐文章于 2023-03-02 23:13:03 发布

阅读量1.6k

点赞数

左一：董唯元

2017年9月8日，冬瓜哥收到先智数据（ProphetStor）中国区总经理董唯元的邀请，参加了一场讨论存储行业生死攸关问题的媒体见面会。

老董是存储界的老人了，在冬瓜哥不懂存储的时候，他就是当时Xyratex的中国区负责人了。Xyratex是当时很火的存储系统控制器—+JBOD白牌机品牌，IBM、HP等很多厂商当时的产品其实硬件都是Xyratex的。

这一晃就是20年了，存储圈风云变幻，传统存储从辉煌正在走向衰落。老董见证了中国存储行业从初生到现在的种种风云变幻，期间也涉水过IT领域其他行业。然而，宝刀不老，在如今传统集中式SAN、分布式、超融合、云存储等众多存储系统以及计算存储混合系统形态并存的混乱时代，老董再次出山，执掌先智数据中国区业务。

在见面会上，老董直言不讳，讨论的第一个话题就是存储行业是否已经夕阳西下。冬瓜哥的观点是对于传统存储，走下坡路是个不争的事实。一方面由于传统存储的高端玩法的商业模式导致高成本，另一方面由于高速网络、固态存储的发展，让分布式彻底有了崛起的根基，有了新玩家，之前被构建的城堡自然会被攻破。至于传统存储和新兴存储的发展关系，比较难说，短期内恐怕传统存储不会太早结束生命。甚至还可能会出现改朝换代换个皇帝坐江山的可能（倒头来发现还是集中式的更好）。

不管是传统存储还是新兴存储，整个存储系统依然是IT基础架构中最重要的一层，但是再怎么折腾，它也位于基础架构而不是上层架构中。目前行业的热点已经转移到了云计算大数据人工智能互联网物联网等上层建筑中了，而搞IT基础架构的沦落成了物业管理，处理不讨好的角色，这也是大势所趋，不可阻挡。所以，即便新兴存储正在推翻旧皇帝，但是推翻以后自己其实也好过不到哪里去，市场上派系多，公司多，鱼龙混杂，谁都能用服务器攒个存储出来。

然而，在这个大背景之下，老董这个经历了风雨的老江湖为何偏偏又选择继续做存储呢？冬瓜哥觉得，老董天生对存储的情怀是一方面，而另一方面则是先智数据的一个核心理念吸引了他，那就是智能。老董和冬瓜哥都一致认为，智能才是存储领域的下一个核心概念和技术。

市场和用户需要智能的存储。存储系统自身也应该逐渐变得智能。这是两方自然的选择。存储系统发展了几十年了，至今仍像个婴儿一样，首先，自己不知道自己病了，哪里病了，其次，自己不知道自己的性能是否能够满足业务要求，也无法自己调节性能，无法感知应用类型，不知道上层业务场景是什么样的。存储系统在Host端仍然就体现为一个盘符：/dev/sda。完全黑盒一个，不可控、不可视、不可变。在这个新时代，存储再这样玩下去，会更快的淡出行业视线。

冬瓜哥8年前曾经设计过一套可视化存储智能解决方案，见系列文章：《可视化存储智能解决方案之2：大话SmartMotion》。由于没有资源，没能落地，这是鄙人职业生涯中的遗憾，没能做出什么产品，至今混迹于世。

这次见面会，冬瓜哥与老董产生了深刻的共鸣，存储需要智能。而先智的存储智能，体现在“先”字上，其能够精准的预判出自己内部的每块硬盘还能用多久，会给自己看病的存储。这一点还是很有意义的，如果在硬盘损坏之后再去干预，则会浪费大量的计算和I/O资源来对数据进行Rebuidling，这个期间，由于突然的负载提升，发生第二块盘故障的概率大大增加，此时数据就会丢失。而精准的预判，可以让系统提前干预，将数据拷贝到新位置，并更换该盘。

总体来讲，主动预测带来的收益：

降低对计算和I/O资源的耗费。
降低双盘失效丢数据的风险。
某些场景甚至可直接使用Raid0而不用Raid5等校验型Raid，节约成本。

如下图所示为先智数据产品概览，其中Disk Prophet就是负责精准预测的模块。

传统预测完全根据经验判断，而且获得的输入非常少，基本只有硬盘的SMART信息。但是，对于一块单一硬盘，它无法了解外界的全局信息，很多时候，外界的变化会引入更复杂的输入，而这些信息，SMART是无法感知的。Disk Prophet正是站在了全局视角上，接受更多的信息输入，比如应用场景、服务器端CPU利用率、网络利用率、IOPS、时延等参数，来共同处理预判。

面对大量的输入信息，找出其中的历史规律，这显然是人工智能擅长的工作。Disk Prophet正是利用了人工智能机器学习的方式来处理这些输入的。

Disk Prophet甚至可以根据预测给出处理预案，比如建议你在某个这个硬盘最低负载的时间点提前更换它。

人工智能的结果，准确率是关键指标。下图所示为先智数据给出的一个Cisco内部测试的结果，准确率可以做到96.1%。目前最新的准确率已经可以到98%以上。

目前，DiskProphet支持各种硬盘的预测，包括HDD和SSD，甚至NVMe SSD，还有各种RAID卡。DiskProphet还支持与Nutanix，VMware vSAN，Ceph等SDS产品集成，提供统一监控等高级功能。DiskProphet也可以监控磁盘阵列后端的硬盘，通过阵列厂商提供的接口实现。先智数据自身也有全闪存产品，Disk Prophet模块已经集成在其中。目前该功能也正在与EMC、NetApp等厂商进行集成。