TGRS2023.11 RingMo-SAM:多模态遥感图像分割的基础模型

RingMo-SAM。带有适配器的图像编码器用于输出图像嵌入。将SAM的掩码解码器解耦为实例类别解码器和地形类别解码器，以便在训练过程中根据批次交替优化，以确保模型充分适合两种类型的数据。此外，设计了嵌入多模态遥感图像特性的提示编码器，提高了图像的分割性能。

多模态遥感图像中，地形类的像元比例远大于实例类的像元比例，会导致SAM学习优化不平衡，主要表现在实例类分割极差。因此我们将一个掩码解码器复制成两个，以解决实例类别和地形类别之间的模糊问题;然后，我们修改每个掩码解码器末端超网络结构中的多层感知器(MLP)网络结构，使其与多层结构并行，以适应多类别解码的输出解码结构;其中，MLP结构的平行数由每个掩码解码器输出的类别数决定，如图所示。

CDMDecoder的训练策略: 地形类数据与实例类数，我们在训练中将这两类数据分批地交替输入到模型中，每批只输入一种类型的数据。这种训练策略避免了由于拟合不足而导致的据像素数相差巨大的问题。

1)多box的提示符: SAM只支持单框提示。这不利于遥感图像的实际应用，因为遥感图像的特点是存在众多的目标物体。因此，设计了一个多框提示表单来消除这个缺点。我们将一幅输入图像的多个提示框作为稀疏嵌入的一部分进行编码，多个盒子的编码是一个接一个完成的。对multiboxes中的每个box进行编码，首先将左上点和右下点作为两个平行的维度，对其进行归一化编码，然后对其进行高斯模糊编码，最后在高斯模糊编码的高维特征上添加额外的嵌入。将多个方框依次编码为高维特征后，将相应的多个高维特征联系在一起形成一个高维特征向量，作为稀疏嵌入的一部分。

2) SAR偏振散射提示: 略

图7所示。RingMo-SAM中嵌入多模态遥感数据属性的提示编码器。支持多框提示，提高了复杂遥感场景下多目标的分割精度;支持SAR特征提示，提高了SAR上的分割性能。