一文看懂存储资源盘活系统架构

存储资源盘活系统通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。它是纯软件的存储控制器，能够安装在任意Linux服务器上，可以把各服务器中分散的磁盘整合成高性能的存储资源池，通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性；通过完善的控制台、命令行与API来统一调度管理所有存储资源；通过强大的兼容性和独特的硬件异构特性充分利用全部存储资源。


存储资源盘活系统的架构体系有两个核心：软件定义存储与分布式存储。


随着存储行业的不断发展，存储高级功能逐渐开始普及，各种高端存储产品所具有的软件功能开始在中低端存储产品上出现，基于x86的标准化硬件逐步替代专用硬件，进而一统存储市场，这使得“软件”成为各存储厂商的核心竞争点。从本质上讲，存储本身就是一个软件行业。随着数据存储量的增大，也必然将由硬件提供的弹性向着由软件代替硬件提供弹性的方向发展，意味着专用存储硬件必然被商用硬件所替代。这就注定了“软件定义存储”是存储行业发展的必然趋势。


软件定义存储的核心在于，用软件解决原先由硬件解决的（弹性）问题，例如EMC所发布的ViPR，与其存储阵列所组成的解决方案则可称之为软件定义存储。通过将存储阵列的控制权上交给ViPR进行统一的管理和分配，在与商用硬件组合时，利用ScaleIO为商用硬件提供存储高级功能，以此补足ViPR只有控制平面缺乏数据平面的“不足”。


分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来提供使用与大规模，高并发场景下的 Web 访问问题。它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。


分布式存储的兴起与互联网的发展密不可分，互联网公司由于其数据量大而资本积累少，而通常都使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。其主要原因有以下三点(1) 互联网的业务发展很快，而且注意成本消耗，这就使得存储系统不能依靠传统的纵向扩展的方式，即先买小型机，不够时再买中型机，甚至大型机。互联网后端的分布式系统要求支持横向扩展，即通过增加普通 PC 服务器来提高系统的整体处理能力。(2) 普通 PC 服务器性价比高，故障率也高，需要在软件层面实现自动容错，保证数据的一致性。(3) 随着服务器的不断加入，需要能够在软件层面实现自动负载均衡，使得系统的处理能力得到线性扩展。


存储资源盘活系统正是具备了上述软件定义存储与分布式存储的优点，不独占硬件资源，可与现有应用混合部署在同一套硬件设备上，不影响现有业务的运行的同时将闲置存储资源予以整合，帮用户把现有服务器集群中存储资源利用率不高的设备进行统一管理，形成统一存储资源池。通过标准 iSCSI 协议为上层应用提供虚拟 Target 和逻辑卷，可被灵活调度、分配、使用。简单来说就是挑出磁盘中的“闲人”，将其改造成“精兵”向上方提供，节约了购买新硬件的成本，以同样的能源消耗带来更多的服务价值。允许用户在空间利用率、性能和可靠性之间灵活选择，用户甚至能够为不同的卷指定不同的EC策略，降低存储成本和网络开销。


HBlock分布式块存储是中国电信为客户提供的存储资源盘活产品。它具备绿色安装、部署便捷、性能稳定可靠、数据安全、成本可控的几大优势。HBlock分布式块存储通过标准 iSCSI 协议提供块存储服务，将通用服务器及其管理的存储资源转换成高性能的虚拟存储阵列，承载企业核心业务数据。


HBlock提供了三种架构：（1）云盘阵（本地）。HBlock采用了独特的分布式双控架构。宏观上，整体设计为分布式系统，可通过增加节点横向扩容的方式提升系统的吞吐能力和容量。微观上，系统提供虚拟卷级的多路径能力。对于每个虚拟卷都设计了两个控制器。（2）云盘阵（本地+公有云备份）。HBlock采用了全用户态架构。可与其他进程完全共存于同一操作系统中。HBlock从安装到运行，可使用非root权限，可以轻松的部署到任何Linux操作系统中，让用户快速体验。如果用户不喜欢，杀死进程、删除目录即可，系统不留任何残渣。（3）云存储网关（本地部署模式）。HBlock采用了容错架构设计。能兼容各种不可靠环境，并确保在不可靠环境下数据不丢。HBlock不要求节点配置NTP服务，可以容忍CPU忽然变慢，节点间网络忽然变慢，磁盘忽然变慢等各种复杂局面。相对于业内其他软件定义存储，软件可靠依靠硬件可靠保证而言。HBlock实现纯软件层面容错能力。


以某城市轨道交通视频监控项目为例，为满足公安部对地铁监控视频存储90天的要求，在工程实施中，解决了视频数量多、带宽要求高、存储体量大等各种问题，具体包括：前段 摄像头规格不统一、众厂商产品复杂、信号源不一致等。中段 链路带宽流量大，交换机站点数量多、监控平台接入等。后段 存储池容量不足、如何进行多资源池的流量调度、网关协议转换等问题。该项目体现了存储资源盘活系统的架构优势与天翼云存储产品HBlock团队的技术实力。实现该地铁监控88个重点站及其它站点A类视频，共计11000路摄像机的存储空间得到有效保障。