XDFS&空天院HPC集群典型案例

中科院空天信息研究中心
项目背景

中国科学院国家空间科学中心是中国空间科学及其卫星工程项目的总体性研究机构，面向全中国的空间科学创新平台，负责组织开展国家空间科学发展规划研究，具体负责中国科学院空间科学先导专项的组织与实施，开展空间科学及相关应用领域的创新性科学与技术研究工作，为空间科学先导专项及未来发展提供科学与技术支撑，引领空间科学发展，带动空间技术创新。

项目需求

● 满足HPC集群的性能要求

计算层HPC集群拥有近20个计算节点，面向大量的空天信息分析、计算、预处理等应用，对整体HPC集群有着极高的性能要求。包括：稳定的带宽支持、极低的延时响应，以及足够的并发能力。

● 满足容量及可扩展性要求

一期建设规划就要达到PB级可用容量，随着采集和计算数据的生成，未来容量不可预期，因此存储系统还应具备强大的扩展能力，容量、性能线性提升，以满足各阶段的压力需求。

●满足开放性和兼容性要求

采用标准的访问协议，为HPC集群和业务平台提供访问接口，便于后期HPC的计算结果可以便捷的为前端业务平台所使用。也便于未来不同计算模型接口的对接。

● 具有一定的技术领先性

采用的技术方案不仅要符合未来业界发展的方向，还要具备一定的技术领先性，保持在同类系统中的领先地位，有利于提高整个系统的计算与处理能力。

解决方案

网络拓扑

方案概述
方案采用2套XDFS分布式存储集群，分别为：高性能的SSD存储池和容量型的HDD存储池。全部采用纠删码冗余，在满足性能需求的前提下实现更高的存储得盘率，满足容量和成本控制。

●高性能SSD存储池

存储介质采用企业级SATA SSD固态盘，提供约1PB的高性能存储池容量。以POSIX协议挂载，相比NFS具有更高的性能表现，配合100Gb IB链路和RDMA技术，充分保证HPC计算过程中高负载的性能压力和容量需求，加速计算进程，提升HPC整体的计算效率。

●容量型HDD存储池

存储介质采用企业级SATA盘，提供约5PB的弹性存储空间，便捷扩展，容量和性能同步提升。以40GE的链路配合RDMA技术，保证更快的数据访问速度。采用NFS协议挂载，具有更广泛的适用性，部署简单，方便业务服务器对HPC计算结果的数据应用。

方案优势

● 优化的纠删码算法同时保证空间利用率和性能输出

SSD和HDD存储池都采用4+1纠删码，具有更好的空间利用率，同时优化的算法完全满足近20个计算节点规模的HPC访问要求。

● 充分发挥硬件性能

XDFS精简的系统内核，面向文件的数据分布方式，分布式元数据管理策略，以及xMate加速模块，大大提升了存储节点的硬件处理效率，更好的发挥出SSD硬盘和100Gb IB网络的性能表现。通过多万兆网口的Bound技术，让用户在10GE网络环境下也能得到与100Gb IB网络相匹配的非核心性能输出。

● 与用户应用场景深度结合，实现数据流转

XDFS与磁带库备份系统深度结合，让XDFS的冷数据按策略流转至磁带库，让数据管理变得更简单，不仅释放了在线存储池空间，提高了数据管理效率，同时节省了成本投入，达到更高效的投资回报。

应用效果

不同配置的存储池对应不同级别的应用系统，满足了不同业务单元的性能需求，完全符合设计预期，同时又提升了投资回报率，帮助用户真正做到按需建设。数据归档模块与磁带库备份系统的对接，简化了用户数据管理的操作，提升了用户整体业务系统的协同效率，更高效的完成计算任务。