面向多星多任务的大数据处理系统设计

 摘要：随着我国发射的空间科学卫星越来越多，科学数据量爆发式增长，空间科学卫星大数据处理逐渐成为空间科学创新发展过程中被重点关注的环节，建设一套高性能的地面数据处理系统是建设我国自主可控的空间科学大数据生态、助力科学成果产出的重要推手。面向多星多任务并行处理的任务需求，针对空间科学卫星大数据处理中的多分级分类、多源产品融合组织以及高时效性要求等特点，提出了适用于大数据处理业务场景的高可靠硬件环境设计方案，并针对科学卫星处理任务类型多的特点，提出了基于任务类型感知的统一资源调度系统。完成了面向多星多任务的可扩展地面大数据处理系统的研制，支撑了中国科学院空间科学先导专项中的科学卫星数据处理任务。

关键词： 科学卫星 ; 大数据 ; 可扩展 ; 地面处理系统

1 引言

空间科学是一门前沿交叉性学科，聚焦于宇宙和生命起源、太阳系与人类起源等基础前沿主题，致力于解决暗物质与暗能量、引力波、太阳活动与空间天气响应等重大科学问题。空间科学是典型的“数据驱动”型学科。以航天器平台为主要手段获取的科学数据对于学科的发展具有举足轻重的作用。一套优良的卫星地面数据处理系统需要保障科学卫星数据的正确性、完整性、可用性、易用性和时效性，最大限度地发挥出卫星探测数据的研究价值。

国内外就卫星地面处理系统开展了大量的研制工作，形成了较稳定的科学卫星地面数据处理系统框架。国内方面，遥感卫星形成了面向单卫星的基于分布式云存储技术的地面实时处理系统以及具有一定任务调度能力的多卫星地面处理系统模式；风云气象卫星数据存档与服务系统基于高性能计算机集群建立了可支持风云系列卫星的存储与服务；基于面向服务架构（service-oriented architecture， SOA）