分布式存储技术

分布式存储技术作为态势感知系统最为重要与基础的支撑技术。分布式存储技术能够实现结构化及半结构化数据的统一存储，兼容传统的关系型数据库以及SQL访问模型，同时支持对海量数据的在线实时流式处理框架和离线分布式计算框架。分布式数据库面向时序数据和小文件数据存储进行深度优化，支持第三方存储引擎和传统关系型数据库的无缝接入；支持海量混合数据的统一存储管理和在线离线一体化查询；支持可插拔安全算法模块和主流分布式计算框架；支持跨库、跨源、异构数据库之间的跨库访问和关联查询，解决了多系统交互时对海量混合数据统一管控的问题；支持多源异构混搭数据间基于规则导向的高可靠近实时数据同步。主要功能包括：

1）大数据采集存储和分析处理。满足采集海量数据储存需要，如流量信息、设备状态、链路状态等，满足大规模结构化流式数据的并发能力、吞吐量、低时延的高要求。

2）分层架构、模块化设计、多场景支持。采用模块化的设计思路，在数据访问层、数据路由层和数据存储层都提供多种高内聚、低耦合的模块，通过这些模块的灵活搭配，分布式数据库表现出不同的技术特征，从而能够适应不同的业务场景。

3）在线检索和离线分析一体化。通过配置，分布式数据库可同时支持高速数据写入，在线交互访问、实时查询以及高并发大数据集查询在内的各种访问方式，适应在线检索和离线分析等不同业务场景。

4）混合数据支持。分布式数据库支持与传统关系型数据库Oracle、MySQL等联合访问。业务系统可以把部分表建在Oracle或MySQL上，把部分表建在分布式数据库上，然后透明地访问这些表，包括在这些表之间进行join、union等操作。

5）跨域、多数据中心支持。分布式数据库在保证数据一致性的前提下支持多数据中心或多数据集群之间近实时的跨域数据同步复制，实现系统的跨域多中心部署模式。总体处理性能，数据读写、扫描等，随集群规模扩展线性增长。

6）分布式存储形式主要基于通用/定制化的X86服务器提供存储，可提供对象、文件和块存储，具备低成本、灵活扩容、高并发访问等优势，通过软件保障性能和可靠性。可作为资源池的分级存储手段，满足中低端存储、数据归档备份、大数据存储等需求。采用X86服务器和分布式块存储软件技术的Server-SAN在I/O能力、部署速度和扩展性方面已验证优于传统块存储技术（例如FC-SAN/IP-SAN）。

分布式存储技术用于系统架构的大数据组件当中，使系统能够实现高效的数据采集和检索能力。