【EarthMarker】区域级和点级遥感图像理解的视觉提示学习框架

摘要

• 自然图像区域视觉提示使用户可以通过各种视觉标记，如框、点和其他形状，和AI进行交互。但是，自然图像和RS图像之间存在显著差异，现有的视觉提示模型在RS场景中面临着挑战。此外，RS MLLMs主要关注于解释图像级RS数据，只支持与语言指令进行交互，限制了在现时世界的灵活性应用。
• 为此，本文提出一种新的视觉提示模型，擅长图像级、区域级和点级的RS图像解释。具体来说：
  • 视觉提示与图像和文本指令输入到LLM，使模型适应特定的预测和任务。
  • 随后，引入了一种共享视觉编码方法，以统一细化多尺度图像特征和视觉提示信息。
  • 此外，为了赋予EarthMarker多粒度视觉感知能力。设计了跨领域阶段学习策略，并通过利用自然和RS领域特定知识，以轻量级的方式优化不相交的参数。
• 此外，为了解决RS视觉提示数据不足的问题，构建了一个具有多模态细粒度视觉提示指令的RSVP数据集。大量的实验被用来证明了所提出的EarthMarker的竞争性能，代表了在视觉提示学习框架下多粒度RS图像解释方面的显著进步。

方法

• 如图1所示，EarthMarker可以完成图像级、区域级和点级的RS图像解释，如场景分类、字幕等。
• 如图2所示，EarthMarker包含四个核心组件：共享的视觉编码机制、模式对齐映射层、文本标记器模块和LLM解码器。

• 图像和相应的视觉提示使用共享的视觉编码机制，使用Mixture of Visual Experts (MoV)编码视觉信息，包含两个编码器DINOv2-ViT L/14和CLIP-ConvNeXt，在不同的网络架构上进行预训练（ViT和CNN），以提供互补的视觉语义。为了细化鲁棒的多尺度视觉特征，将输入的图像降采样到不同的分辨率，即，然后分别输入MoV模块进行编码。随后，将编码后的视觉特征转换为相同的维度，并沿通道维度连接，得到多尺度特征图。这个过程可以简单地表述为：。
• 编码器共享机制的一个关键步骤是“Visual