（ISPRS，2023）RS-CLIP: 基于对比视觉-语言监督的zero-shot遥感场景分类

相关资料

论文：RS-CLIP: Zero shot remote sensing scene classification via contrastive vision-language supervision

摘要

零样本遥感场景分类旨在解决未见类别的场景分类问题，在遥感领域吸引了大量研究关注。现有方法大多使用浅层网络进行视觉和语义特征学习，并且在零样本学习过程中，语义编码器网络通常是固定的，因此无法捕获强大的特征表示进行分类。
在这项工作中，我们介绍了一种基于对比视觉-语言监督的遥感场景分类的视觉-语言模型。我们的方法能够使用对比视觉-语言损失在嵌入空间中学习语义感知的视觉表示。通过在大规模图像-文本数据集上预训练，我们的基线方法在遥感场景上显示出良好的迁移能力。为了在零样本设置中启用模型训练，我们引入了一种伪标记技术，可以自动从未标记的数据中生成伪标记。开发了一种课程学习策略，通过多阶段模型微调来提高零样本遥感场景分类的性能。
我们在四个基准数据集上进行了实验，并展示了在零样本和少样本遥感场景分类上都取得了显著的性能提升。所提出的RS-CLIP方法在UCM-21、WHU-RS19、NWPU-RESISC45和AID-30数据集的新类别上分别达到了95.94%、95.97%、85.76%和87.52%的零样本分类准确率。我们的代码将在https://github.com/lx709/RS-CLIP上发布。

引言

然而，现有方法大多使用在 Wikipedia 语料库上预训练的 word2vec 模型来从类别名称或描述中提取语义嵌入。在零样本学习过程中，语义嵌入被预处理并固定，而不与要对齐的视觉特征进行适应。这可能导致提取的语义嵌入的表示能力不足，以及视觉和语义特征之间的相当大的差异。以前的方法提出的另一个挑战是，它们通常使用浅层网络来学习视觉和语义特征。
为了解决这些问题，我们在本文中引入了一个用于遥感场景理解的视觉-语言模型。近年来，视觉-语言模型在计算机视觉中得到了广泛探索，并且为各种视觉识别任务构建了众多基础模型，特别是对于零样本和少样本学习。与自监督视觉特征学习方法不同，视觉-语言模型可以学习强大的视觉特征表示，并直接将视觉表示与自然语言在整体框架中连接起来，从而在语义知识的引导下实现更好的零样本迁移。
为了使模型适应遥感领域，我们引入了一种伪标记技术，可以自动从未标记的数据集中生成伪标记，从而在遥感领域上对模型进行微调。此外，开发了一种课程学习策略，通过多阶段模型微调来提高零样本遥感场景分类的性能。

方法

CLIP回顾

CLIP模型使用语言监督学习视觉表示，如图1所示。给定一批$N$图像-文本对，CLIP模型试图预测图像和文本输入之间的正确对应关系。为了实现这一点，CLIP模型使用视觉编码器网络$E_i$来学习视觉表示，使用语言编码器网络$E_t$来学习文本表示。在训练期间，CLIP模型预测一个相似度矩阵$S\in {\mathbb{R}}^{N\times N}$，其中每一行表示一个图像与所有$N$文本匹配的概率。CLIP模型通过最大化$N$正对的相似度得分和最小化