基于神经塑性的地球观测多模态基础模型 (慕尼黑工业大学, TUM)

Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation

2403.15356 (arxiv.org)

 ------|  本博客非完整版，完整版请参阅原文  |------

Abstract

基础模型的发展彻底改变了利用卫星观测数据解释地球表面的能力。传统模型相互孤立，专为特定传感器或数据类型（如光学、雷达和高光谱等，每种都具有独特特性）量身定制。这种专业化限制了进行全面分析的可能性，而全面分析本可以整合这些多样化数据源的优势。本文的方法引入了“动态全能”（Dynamic One-For-All，简称DOFA）模型，该模型利用脑科学中的神经可塑性概念，将各种数据模态自适应地整合到一个框架中。这个动态超网络能够适应不同的波长，使一个通用的Transformer能够在五个传感器的数据上联合训练，从而在14项不同的地球观测任务中表现出色，包括在预训练期间从未见过的传感器任务。DOFA的创新设计为实现更准确、高效和统一的地球观测分析提供了有力跳板，在利用多模态地球观测数据的潜力方面展现出了惊人的适应性和性能。

Introduction

通过卫星遥感进行的地球观测（EO）迅速使能够更深入地建模和理解地球系统。这一追求得益于卫星和传感器的日益部署，它们各自设计用于以不同的空间、光谱和时间分辨率捕捉地球表面的不同方面。观测技术的进步释放了超过数百拍字节的数据洪流，这些数据覆盖了大气层、海洋、陆地和冰冻圈，为各种物理和生物过程提供了前所未有的见解。来自Landsat、Sentinels、MODIS、EnMAP、高分和NAIP9等多样化任务的数据，为本文呈现了一幅丰富而复杂的地球表面图景。通过人工智能解读这些多方面的地球观测数据，可以解锁从气候监测到灾害响应和可持续发展的复杂环境过程理解的非凡可能性。

传统的深度学习模型利用这些多样化数据源中的标注数据集来训练特定任务的模型。然而，这种范式需要大量的人力投入进行数据集收集和标注，以及大量的计算资源进行模型训练和评估。为了应对这些挑战，通常在广泛数据上训练的基础模型（FMs）获得了关注并流行起来。基础模型的显著例子包括大型语言模型，如LLaMA、GPT-3和ChatGPT，以及突出的视觉模型，如CLIP、BLIP和SAM。这些模型的主要优势在于，它们能够利用从大量未标注数据中