稳态强磁场实验装置数据管理系统设计与实现

最新推荐文章于 2024-10-07 06:31:57 发布

罗伯特之技术屋

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量862

点赞数 21

分类专栏： VIP专栏文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_57147647/article/details/136659096

版权

本文介绍了稳态强磁场实验装置数据管理系统的设计与实现，该系统整合了科学实验数据和装置运行数据的管理。系统采用B/S架构，基于Express和ORM框架，利用MongoDB、MySQL和Elasticsearch存储不同类型数据，并集成SciCat进行科学实验元数据管理。系统提供数据采集、图形化展示、安全机制和部署方案，支持实验数据的检索、分析与共享，提升装置管理效率和数据价值。

摘要由CSDN通过智能技术生成

摘要

【目的】 稳态强磁场实验装置（Steady High Magnetic Field Facility，SHMFF）作为国家重大科技基础设施之一，构建了面向多学科领域的稳态强磁场公共实验平台，并在长期运行过程中产生了装置运行数据、科学实验数据两类核心数据。数据是装置的重要数字资产，数据的高效收集、共享和利用，有助于提升装置的运行价值和促进前沿交叉合作。【方法】 稳态强磁场实验装置数据管理系统通过构建数据监测采集器、实验元数据提取器、数据库系统，并集成元数据目录管理开源项目SciCat，基于B/S技术架构提供数据的管理与访问。【结果】 系统实现了装置运行数据的解析与导入、百万级以上数据记录的可视化图形绘制，以及科学实验元数据的有效管理。系统构建的安全保护机制，提升了系统的鲁棒性和数据的安全性，并经过部署和测试，验证了系统的功能指标和性能。【结论】 稳态强磁场实验装置数据管理系统的建设，有助于提升装置数据的集中管理与在线分析效率，促进数据的共享和价值利用。

关键词： 科学实验数据; 装置运行数据; 元数据管理; 稳态强磁场装置

引言

国家重大科技基础设施又称为大科学装置，主要面向国家安全中的战略性、基础性和前瞻性科技问题而建设，是实现基础科学研究和多学科交叉研究前沿突破的重要基础[1]。近年来，国内外重大科技基础设施管理机构正逐步重视并加强对装置的信息化管理，特别是面向多学科领域、跨地域用户的公共实验装置平台，在内外部用户数据管理、实验运行执行数据管理、科学实验数据的存储与共享等方面均提出了应用需求[2-3]。例如，美国强磁场实验室基于FAIR（Findable, Accessible, Interoperable and Reusable）数据原则，设计并实现装置采集数据的可查找、可访问、可互操作以及可重复使用[4]；日本J-PARC中子源构建了数据管理信息化基础设施，实现对装置原始数据、测量日志以及实验样本、实验方案、研究者等其他上下文信息的归档和按需检索[5]；德国同步加速器ANKA提出一种束线数据管理（BLDM）架构，支持数据收集、元数据聚合和数据摄入，并为摄取的数据提供归档、内容保存等服务[6]；中国散裂中子源开发了一种分布式数据处理和分析环境，采用基于C/S模式的通信和数据缓存系统，提供2D/3D实验数据的分析和可视化显示[7]；高海拔宇宙线观测站构建了分布式的数据获取处理架构，有效提升高能物理实验的数据收集和处理能力[8]。

稳态强磁场实验装置（Steady High Magnetic Field Facility, SHMFF）是国家重大基础设施之一，主要包括5台高功率水冷磁体、4台超导磁体、1台混合磁体，以及配套的科学实验测试设备以及技术装备系统[9]。该装置作为公共实验平台，为开展凝聚态物理、材料、生物学、生命科学等多类学科领域研究提供了重要的稳态强磁场实验平台[10]。目前，稳态强磁场装置提供在线方式实现用户账号申请、实验课题申请，而装置数据仍以分散存储、独立管理等方式为主，装置数据的检索与分析主要依靠在单机运行的数据分析系统。现有的装置实验管理与数据管理方式仅解决了实验课题审批与机时在线分配问题，缺乏实验前、中、后的全闭环、全生命周期在线管理，以及数据的高效检索、实验任务关联、数据在线分析等功能，不利于提升装置管理效率，发掘数据价值。

基于数据驱动的新规律、新现象的发现，已成为现代科学研究的新范式。作为重大的科技基础设施，大科学装置产生的数据及各类信息是核心的数字资产，数据的高效收集、共享和利用，有助于提升装置的运行价值和前沿交叉合作。稳态强磁场装置所产生的数据主要包括科学实验数据和装置运行数据两大类，其中科学实验数据是实验用户利用磁体搭配的输运、磁性、磁光、极低温等各类测试系统，采集样本在强磁场环境下的实验测试数据；装置运行数据是装置启动、运行、退出的全过程中，由中央控制系统实时采集的装置关键状态数据[11]，以实现对装置的运行监测，并追溯分析装置运行过程中出现的故障。从数据用途及使用对象上来看，科学实验数据主要面向实验用户，用于分析样品在强磁场条件下产生的实验现象；装置运行数据主要面向装置运维人员，用于记录装置运行状态以及分析故障。因此，在装置数据管理上，有必要根据两类数据的特点提供不同管理功能。

稳态强磁场实验装置数据管理系统提供科学实验数据的元数据管理、装置运行数据的检索及波形展示功能。系统基于B/S技术架构，采用Express 框架、ORM框架和MySQL、Elasticsearch数据库进行设计开发，集成元数据目录管理开源项目SciCat，并支持数据接入结构的灵活扩展，提供基于Web的用户统一身份认证与系统访问，同时满足实验人员与运维人员的使用需求。

1 系统架构

系统在架构设计上遵循结构分层、服务隔离的原则和模式，在系统横向维度可分为负载分配层、前端应用层、业务服务层、数据存储层；在纵向维度根据系统功能划分为实验数据管理、实验流程管理、装置运行数据管理。系统主要由数据监测采集器、实验元数据提取器、文件系统、数据库、实验数据服务、实验管理服务、装置运行数据服务、web前端等模块构成，其中，数据监测采集器通过监测装置中央控制系统产生的装置运行数据、科学测试设备产生的科学实验数据，触发相应的数据采集操作，将数据分别存储至数据库和文件系统；实验元数据提取器用于采集科学实验元数据，并提供给SciCat后端服务实现实验元数据的存储与检索；实验管理服务提供实验申请审批、过程管理、实验记录等主要业务功能，并通过与实验数据服务和装置数据服务交互，提供装置运行数据检索和波形绘制、科学实验数据检索和下载等操作。系统总体架构如图1所示。

图1

图1 稳态强磁场实验装置数据管理系统架构

Fig.1 Architecture of the SHMFF data management system

为提升系统扩展性和灵活性，各子系统后台服务支持独立部署，并通过统一的Web前端提供访问入口，系统的用户认证和权限分配利用单点登录实现。系统根据不同种类数据的特点，采用文件系统和3种数据库分别实现科学实验数据、实验元数据、装置运行数据、系统业务数据的存储访问。其中，科学实验数据和对应的元数据分别存储于文件系统和MongoDB数据库，系统主业务数据存储于MySQL数据库，装置运行数据存储于Elasticsearch数据库。

2 科学实验数据管理

2.1 SciCat开源数据目录管理系统

SciCat是一个基于web的开源数据目录管理系统，可用于管理实验设施中获取的原始数据和相应的元数据[12]。SciCat已在科研领域的多个大科学装置上得到应用，如欧洲散裂中子源[13]、瑞典MAX IV光源[14]、北京高能同步辐射光源HEPS[15]等，它构建了元数据提交、存档、检索的完整技术架构，并支持数据集发布以及通过数字对象标识符（DOI）提供对外引用。SciCat采用“前后端分离”架构，包括前端（frontend）Catanie和后端（backend）Catamel，其中前端基于Angular和Ngrx开发，通过浏览器展示科学实验元数据目录应用，为科学实验元数据集的发布、存档等操作提供一个可检索的界面；后端基于Node.JS开发，提供科学实验元数据管理业务逻辑实现，并使用Loopback框架提供REST API的创建和访问。SciCat使用MongoDB数据库进行元数据存储，可适应元数据模型结构的变更和扩展。