数据的在线化和自动化必将催生新的存储独角兽

最新推荐文章于 2020-07-10 14:04:34 发布

乐生活与爱IT

最新推荐文章于 2020-07-10 14:04:34 发布

阅读量474

点赞数

本文链接：https://blog.csdn.net/Urh3t1/article/details/82229909

版权

本篇文章是即兴之文，希望能抛砖引玉。

首先向阿里云的王坚博士致敬，因此封面图片就是他的《在线》。2017年，我读完王坚的《在线》后，感觉非常兴奋。虽然现在的我忘记了具体因为什么，但那个感觉的印象还在。

640?wx_fmt=png

我非常认可王博士的观点：

“大数据叫错了”。“实际上数据不是因为大而产生的价值，而是因为在线上而产生了价值，因为数据从此可以在更大范围流动它产生的价值，这是真正的数据带来的巨大变化”。

在《二级存储的春天正在走来吗？ - 软银欲以10亿美元的估值投资存储公司Cohesity》以及《钱要花在刀刃上 & 兼聊存储发展的最近十二年》一文中，我提到了“历史数据在线化”的概念。并举了一个真实的例子：

我曾经和一位医疗行业的专家交谈过，他在人工智能与医疗影像的结合上走在前列。他告诉我迫于成本，他们医院的医疗影像现在一般设置为在线3个月，最长也就是在线一年。如果在线的二级存储，成本有优势的话，能帮助医院将在线数据拉长到几年甚至十几年，对于医疗影像的大数据分析会有很大的帮助。我想，不仅医疗行业如此，银行、保险、教育、交通、政府等各个部门，但凡需要结合历史数据做大数据分析都会有这个需求。

最近的思考，以及和九存的同事讨论后，发现这个概念需要修正。暂且叫做“数据在线化和自动化”，欢迎读者提供更好的描述词汇（联系qq号: 9269216，一经采用红包奉上）。

为什么这么说呢，之前提到的历史数据在线化，是因为历史数据需要做大数据分析，通过挖掘这一“金矿”，做出更精准或有前瞻性的决策。而大数据分析的首要要求就是数据必须是在线的。

最近，我们发现越来越多的业务，不仅历史数据需要在线化，当下的数据也需要实时分析。

例如车辆行驶，如果知道车的牌照号，当公安部门需要抓铺正在高速公路肇事逃逸，或者抓捕疑犯时，类似高速公路监控系统的软件如果具有实时分析视频抓取的帧图，并与数据库做比对，就能非常及时地给出反馈。

再如视频直播，以YouTube为例，做为网站的运营方，无法靠人工来监控视频是否包含了违规的内容。这就需要实时分析视频中人或物的特征，自动化地做出判断，并触发相应的操作。这种监控和实时分析，如果单纯靠人工来处理，或者成本高昂，或者根本就不可能处理完。系统可以利用机器学习技术，事先学习相关的场景，训练出合适的判断标准；之后根据比对，及时地给出反馈。

640?wx_fmt=png

类似的行业案例还有很多很多，在结构化数据之外，非结构化数据（包括文档、图片、音频、视频等，通常是海量数据）也需要在线化和自动化。这对于后端的存储，尤其是存放非结构化数据的分布式文件系统，或者对象存储带来了巨大的挑战。这个挑战在于能否以较低的成本，提供更高的性能，包括带宽、延时，以实现信息系统想要达到的实时分析。

欢迎读者提供更多的行业案例，表明数据在线化和自动化的迫切需求（联系qq号: 9269216，一经采用红包奉上）。

现有的企业级存储，存放非结构化数据的存储硬件的架构，绝大多数都是十多年前的。在那个时候，这个架构是合适的，因为大部分非结构化数据写入后被再次读写的次数非常少，于是一个带有计算芯片的主板，少数几个网络接口，再连着十几块盘，甚至几十块盘，上百块盘，存放不断沉淀的历史数据。

随着大量的数据在线化、自动化，新的存储硬件架构并将出现。目前来看，刀片存储是一个不错的方案。例如，全球企业级存储中，硬件存储创新领域的领头羊---九存，通过刀片存储（每个刀片两块SATA盘，如两块14TB盘），大大地提升了性能（并发读写），缩小了故障域（不会因为计算或网络组件出问题导致十几块盘甚至几十块盘都受影响），降低了采购成本或者租用的门槛（如果用于云存储）等。下面的视频来自用户交付前的测试，可以看到九存刀片存储的性能随刀片增加而线性增长。

欢迎持续关注微信公众号“乐生活与爱IT” 。

在这个公众号平台上，之前分享过如下文章：

Gartner：2018年十大战略科技发展趋势

雄文：知耻而后勇，数字代币和区块链技术的未来（修改版-20180213）

当软件定义存储（SDS）遇见区块链（BlockChain）

掘未来，容天下 - 九存区块链战略及产品发布会摘要

钱要花在刀刃上 & 兼聊存储发展的最近十二年

诺贝尔物理奖候选人张首晟：区块链技术是互联网世界新的分合转折点

当SDS遇见BlockChain 之二：区块链存储为什么势在必行？（SDS的新赛道 - 暗流涌动的区块链存储）

白话区块链之5 - 创世元灵：一切源自比特币

白话区块链之7 - Bitcoin Core之客户端逻辑结构

白话区块链之8 - 比特币的发行：挖矿

白话区块链之9 - 比特币下载区块数据时，如何校验是否有问题呢？

白话区块链之 10 - 什么是比特币钱包、钱包地址？什么是私钥、公钥？

【视频】九存刀片存储是如何上架的？ - 九存为某用户交付刀片存储侧记 1

---

微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享区块链（BlockChain）

、软件定义存储(SDS)和超融合架构（HCI）相关的文章，偶尔也会分享虚拟化、云计算、大数据、人工智能、IoT等IT类文章，甚至生活类的好文章。欢迎投稿，特别是原创文章。如果原创文章属于首次发布，根据质量和阅读量的不同，能获得20~500元的稿费。我的QQ号：9269216。另外，如果还有赞赏收入，作者可获得60%。