村里来了个智多星

漫谈分布式存储

坤前解决方案系列

为什么需要分布式存储？

从远古时期原始人以龟甲刻字，结绳记事，再到计算机出现之后陆续出现的软盘、硬盘、U盘等以适应存储书数据量的增长。

随着人工智能、大数据、云计算等技术的蓬勃发展，人们逐渐与数据密不可分：4K、8K等超高清视频带来更好的视觉体验；移动支付、实时导航、智能音箱等让生活更便捷轻松。

这样的结果就是，数据量呈指数级膨胀。于是传统的存储方式就不再能满足需求，存储系统架构上的变革不可避免，而高效、易于扩展的分布式平台顺时而生。

据IDC数据，2025年全球新创建的数据将达到175ZB，而目前存储下来的数据只有1%左右。预计2018-2023年，企业级存储装机容量将达到25.1%的年复合增长率，而40%左右的存储系统都将是分布式存储架构。

壹 什么是分布式存储？

我们先来讲个小故事：

从前有个小村庄，村庄里有个不大不小的人工湖，是村民们从几公里外的山上一桶水一桶水挑下来的。

村庄里唯一的人工湖

就这么自给自足过了十几年，由于村长治理有道，加之时节风调雨顺，村民数量与日俱增，原来的人工湖已经挖了又挖，扩了又扩。占用了原来的耕地不说，每次动工都占用了村里劳动力的时间和精力，村民们怨声载道。

终于，村长找来了邻村的智多星先生，请教他怎么解决用水问题。

村长请教智多星

在先生的帮助下，村里家家户户都打上了水井，因为村子土壤酸碱度、地势等天然原因，村头村尾的水各有不同功效，有的可以用作洗衣沐浴，有的则可以用作淘米浇灌。每每新开一口井都会在村长那登记井水用途，只要询问村长就可以马上找到相应用途的水井。

家家户户都有水井

种类不同、源源不断的地下水，满足了村民用水量和质的需求，村民们又过上了安居乐业的生活。

在这个故事里，智多星先生就是用了分布式架构完成了村民用水的问题。

人工湖就是传统的集中式存储，可以不断增加的水井就相当于分布式存储中的节点。传统存储随着数据不断增多,向上扩展的代价、支持不同访问途径的难度也不断提高，还需要复制方案以确保数据安全。

而直击这些痛点，正是分布式存储的特点所在：

贰 分布式存储的特点 

分布式存储利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。

01支持分级存储保障高性能

分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度。一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。

允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。而写缓存技术则可使配合高速存储来明显改变整体存储的性能。

02多副本一致、故障定位实现高可靠性

分布式存储通常采用一个副本写入，多个副本读取的强一致性技术保证多个数据副本之间的一致性，在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复。

多时间点快照技术实现一定时间间隔下的各版本数据的保存，支持同时提取多个时间点样本同时恢复，如果有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度和耗时。还可设定数据恢复的带宽规则，最小化对业务的影响。

03弹性扩展与异构存储整合

只需要将新节点和原有集群连接到同一网络，旧数据会自动迁移到新节点，实现负载均衡，避免单点过热的情况出现。当节点被添加到集群，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被管理平台接管，被用于分配或者回收。

分布式存储优先采用行业标准接口(SMI-S或OpenStack Cinder)进行存储接入，通过将异构存储资源抽象化，将传统的存储设备级的操作封装成面向存储资源的操作，实现存储资源的集中管理，并能够自动执行创建、变更、回收等整个存储生命周期流程。

在当今智能时代下，数据更为海量、多元和非结构化，企业的IT基础设施也将从云+端的两级架构向云-边-端三级架构演进迭代。存储系统则形成了随需应变、软件定义、智能化和多云部署的大趋势。

分布式平台也将通过闪存等介质成为系统架构上的重要变革，为未来存储产生重要影响。