钱要花在刀刃上 & 兼聊存储发展的最近十二年

最新推荐文章于 2018-11-27 09:33:27 发布

乐生活与爱IT

最新推荐文章于 2018-11-27 09:33:27 发布

阅读量321

点赞数

【编者按】

本文转自微信公众 - 九存区块链存储

---Begin---

在过去的十多年里，企业级存储的变化可谓是翻天覆地，平均每隔3～5年就有革新性的功能，或者新的存储形态出现。进入二十一世纪初期，EMC公司在全球存储行业如日中天，持续多年占据存储份额的榜首。

记得我在2006年参加EMC面试的时候，面试官允许提一个问题，当时的我基于之前做过的功课，问道：“IBM携手博科、思科、McDATA、NetApp和Sun等公司共同创建了一个名为Aperi的存储开源组织，EMC怎么看这件事？”，时至今日，我还记得面试官形象的回答，如果跑步比赛的时候，你排第一，你会时不时回头看后面吗？

在IT行业里，EMC的销售被大家视为金领，彼时津津乐道的有一件事就是，每个新员工入职后，都要去马萨诸塞州霍普金顿市参加培训，让人兴奋或者恐惧的是，新员工需要赤脚踩过火炭路。另外一件被EMC员工经常提起的事情就是在，在2001年9月11日，美国双子座被飞机撞击之后，执金融业之牛耳的公司摩根斯坦利公司，居然在第二天恢复正常工作，而这正是得益于先前建立的数据备份和远程容灾系统。这幕后的英雄就有EMC的SRDF。因此，也带动了以EMC为代表的存储产业的发展和崛起。

大约在2004、2005年左右，新兴的存储厂商3PAR和LeftHand（这两个公司后来被HP收购）、XIV（后来被IBM收购）、Compellent和EqualLogic（这两个公司后来被DELL收购）、Pillar（后来被Oracle收购）的横空出世，其中最重要的两个功能就是它们的块级虚拟化和精简配置，块级虚拟化打破了以往RAID组的限制，可以汇聚更多硬盘，使得存储的逻辑卷能够提供提供更高的性能（并发），更多的容量，更好的扩展性；精简配置使得存储无需预先分配物理空间，实现写多少分配多少的策略。其中，Compellent又以其领先的自动分级技术（频繁访问的数据自动移动到性能更好的硬盘上，历史数据自动沉淀到大容量单性能一般的硬盘上）著称于世。从用户的角度看，就是降低成本，提高效率。

进入2010年后，以商业存储软件VMware vSAN，开源存储软件Ceph、Gluster等为代表的SDS（软件定义存储）开始悄然生长。SDS的出现，在其漫长征程过程的早期阶段，随即掀起了存储新形态的革命。其重要的标志就是，存储软件从原有的专有硬件逐步解耦出来，可以采用标准的商业硬件，如X86服务器。按照我所撰写的《软件定义存储：原理、实践与生态》里的观点，SDS的外延要大于分布式存储，不过需要承认的是，分布式存储日益成为SDS的主流。再次从用户的角度看，SDS降低了用户的采购成本，并且较之以往，有着更好可扩展性，甚至可靠性（分布式存储使得故障域缩小，硬件组件出问题导致的影响面缩小）。

在数据中心三大组件中，计算、存储和网络，常常被误解的是，很多人以为存储很简单，就是划几个逻辑卷给服务器操作系统识别。真实情况是，也许存储的使用确实比较简单，但是存储的研发的门槛却非常的高，没有在企业级存储积累多年的经验，很难制造出稳定可靠而且性价比高的存储。存储所需要存放的数据丰富多变，从类型看，有结构化数据，还有非结构化数据；从I/O特征看，有顺序写的大IO，还有随机读写的小IO；从用途看，有需要高性能低延迟的交易数据，还有备份归档等数据；有的核心数据恨不得存储双活之上还要做两地三中心，有的数据不是那么重要，只要存放一份即可。存储做为信息存放之地，不可掉以轻心。

也正是因为存储的研发门槛很高，在2014年（当年华为存储排名中国第一，全球排名第七）之前，较少看到中国存储在全世界的存储份额大显身手。常年都由国外存储，如EMC、HDS、HP、NetApp、IBM、DELL等几家存储巨头占领着。开源存储软件的出现，为中国的存储行业注入了新的活力，大概从2015年开始，以XSKY、杉岩、深信服、SmartX为代表的中国的初创存储公司，如雨后春笋般蓬勃发展。

纵观整个全球的存储格局，大部分的存储初创公司集中在一级存储这个赛道上，全球的一级存储初创公司保守估计也在40家以上。而二级存储由于利润低，较少出现具有创新意识的初创存储公司。截止今日，仍然有大量的用户，采用磁带的方式存放。但随着大数据分析逐渐在各行各业的渗透和落地，历史数据的在线化变得越来越迫切了。我曾经拜访过一位医院的专家，令其非常困扰的是，那些不在线的数据，例如在磁带上的数据，可利用的价值非常微小，可能只是为了合规而存在。我曾经看过阿里云王坚的《在线》，认可他的观点：“大数据”的叫法不对，应该叫“在线数据”，“在线”远比“大”，更能揭示本质。

根据IDC的统计和预测，每年新增数据中超过80%，甚至超过90%以上都是非结构化数据。随着边缘计算、物联网的逐渐兴起，这种趋势将更为显著。而且，这些数据应该在线。

在线的二级数据使得存储的形态也必须转变。以往的二级存储（这里不考虑磁带等离线形态的存储介质），因为只是纯粹的备份和归档数据，以存储服务器为主流形态的二级存储是够用的，因为不断的历史数据沉淀，不太需要有多块硬盘的并发读写。然而，随着越来越多的二级数据在线化，原有计算存储网络配置不均衡容易导致性能出现瓶颈。

随着区块链的迅猛发展，在非结构化数据的存储的需求上，出现了超级活跃的生力军。这就是以IPFS Filecoin、StorJ为代表的区块链存储。为什么会出现这种新形态的存储？众所周知，数字宇宙按照比摩尔定律还要快的速度增长，但是，存储介质的生产远远更不上这个速度，意味着全球其实有着大量新产生的数据，或者历史数据不得不丢弃。与此同时，许多企业，许多个人的存储空间都有大量闲置。例如，看看你的电脑，或者移动硬盘，或者NAS，最大存储容量是多少，而你实际使用了多少空间？如果有一个方法，能够将闲置的空间利用起来，从总体上来看，一定会降低全球每GB或者每TB的成本的，并且客观上能够弥补日益增长的存储需求和存储介质生产速度之间鸿沟。

为什么会不断有新功能，新的存储形态出现呢？实际上，人类在各个领域都有着普遍的需求：更加高效、快捷、方便、灵活和安全，并且节省人力和成本。存储也不例外。

区块链存储由于天然有着Token的激励机制，它催生出来潜在但又非常巨大的需求，这就是存储矿机的巨大需求。由于相比靠算力抢夺记账权的计算型矿机，存储矿机因为能够在挖存储币之外提供实际的使用价值（存放用户的照片、视频、文档等），被更多的人看好。

那么，存储矿机需要具备什么样的特点呢？

以往企业级二级存储通常仅限于一个公司或单位内的少数人使用，类似4U 60块盘，2U 24块盘或者12块盘等类似形态的存储服务器基本能满足需求。但是，做为存储矿机的存储设备，在被使用的时候，很可能要面临着来自全球许多用户的读写访问请求。计算存储网络三大硬件组件，必须均衡配置，就变得尤为重要了。

在过往的存储历史长河中，我曾见过数家大的IT厂商提出了刀片存储的概念，例如IBM、Oracle Sun、HP、Cisco、Dell等，但几乎全部都是作为一个更大的一体化设备内，为该设备内的刀片服务器提供服务的。做为独立设备出现的刀片存储，极为罕见，也欢迎读者提供更多消息给我（QQ号：9269216）。

存储矿机为何要设计成刀片存储？

核心是计算、存储、网络三个组件的能力必须相对均衡。这个看起来简单，但做起来不容易，需要很大的勇气，打破业界现有企业级存储（包括存储服务器形态）的常规架构。我们经常听到的高密度存储服务器，通常采用单控或者双控制器，两路CPU，十多个甚至二十多个CPU核，几个网络接口。这种设计，用户常常发现，或者网络接口，或者CPU，比较容易出现瓶颈。举个例子，一个存储服务器或者非刀片形式的存储矿机，如果带了12个以上的硬盘，按照机械盘60～150MB/s的读取速度，假设按照100MB/s计算，我们会发现此时的网络接口很快就会成为瓶颈。这就意味着，用户以为拥有很大的存储容量，其实在开始使用设备的很长一段时间里，只有少数几块盘真正派上用场。也就意味着初次采购的其余硬盘的成本几乎都浪费了。另外，只做存储用的设备，对于CPU的物理核数要求不高。传统存储服务器的多核CPU，也在初次采购里有较大的浪费。

下面再分享一下九存刀片存储的设计理念。

九存采用了刀片存储的设计理念，每个刀片都是一个独立单元，同时包含计算、存储、网络三个组件，并且三者搭配较为均衡。这样能够并行挖矿，提升性能和收益，而且，在矿池的建设和分租中，也能降低租户的投资门槛。

总结起来有6个原因：

1）均衡配置，避免瓶颈，避免浪费

2）缩小故障域；提高可靠性；

3）支持并行挖矿

4）矿池可按刀片分租，降低个人的投资门槛

5）按需扩展，易于管理、运维

6）热插拔，机器人自动化运维

最后，总结成一句话就是，钱要花在刀刃上。

我们预计，存储刀片将成为未来企业级存储矿机的标配。如同ASIC芯片之于算力矿机一样。而九存已经拥有了未来就绪的，在全球范围内都是技术领先的刀片存储。

欢迎持续关注这个微信公众号，后续还会有更多细节进行剖析。