【可见光遥感三+域适应十六】Domain Adaptive Remote Sensing Scene Recognition via Semantic Relationship Knowledge

论文：Domain Adaptive Remote Sensing Scene Recognition via Semantic Relationship
Knowledge Transfer

motivation

为了减少域差异，大多数现有的方法都致力于对齐跨域分布。然而，不同场景之间的语义关系的宝贵知识通常被忽视，并且无法充分发现场景之间的潜在相关性。为了解决这一问题，本文提出了一种自适应遥感场景识别网络，该网络可以成功地将识别知识和跨场景关系从源转移到目标。具体来说，在本文中，以对抗的方式获取transformer不变表示，并对比实现细粒度条件分布对齐。这样可以在很大程度上缓解巨大的领域差距，并有利于获得判别性和良好匹配的表示。此外，明确地构建了分别属于两个领域的分类关系分布，并最小化它们的分歧进行语义关系知识转移(SRKT)，目的是充分挖掘内在的语义相对结构，从而促进模型在目标领域的通用性。最后，在具有代表性的多域遥感基准上进行了多次实验，大量的实验结果证明了所提出的方法的优越性。

1.introduce

Li等人[34]考虑了遥感场景类别中的语义关系。他们提出利用遥感知识图(RSKG)的表示学习来提高场景类别的语义表示能力。通过提出的深度对齐网络(DAN)实现视觉特征与语义表示之间的跨模态匹配，解决了zero-shot和广义zero-shot遥感图像场景分类问题。但他们需要领域专家参与构建RSKG。为了更好地说明，如图1所示，我们从常用的遥感图像数据集航空图像数据集(AID)和加州大学默塞德分校土地利用数据集(UCM)中选择了六个常见场景，包括:“农田”、“森林”、“停车场”、“工业”、“住宅”和“河流”。在“河流”场景图像中，森林内容通常出现在河边。因此，当看到“河流”时，人们很自然地将其与“河流”和“森林”等相关场景联系起来，而很少想到“工业”和“住宅”等场景。换句话说，河流靠近“森林”，远离“住宅”，在一个共享的特征空间中。将源域的语义关联结构提炼到目标域，可以提高目标域数据的可分辨性。受这种直觉的启发，作者分别在两个域中建立语义关系分布模型，用于语义关联转移，并提出了一种简单有效的方法来解决具有挑战性的领域自适应遥感场景识别问题。

本文提出了面向遥感跨场景识别的语义关系知识转移(SRKT)框架。具体来说，提出的方法由三个主要部分组成:以对抗方式获取transformer不变表示，对比实现细粒度条件分布对齐，以及SRKT。

首先，我们使目标域生成器与分类器协同产生域不变特征以消除域漂移。具体来说，分别为源域和目标域设计了两个独立的生成器，以及两个共享但不同的分类器，用于两个域的场景识别。我们使用两个分类器的输出来计算分类器的预测差异，然后将其最大化。相反，目标生成器生成的特征将使多样性最小化。通过这种对抗策略，目标生成器逐渐产生具有域不变特征的特征。其次，不同类别的质心构成类别上的正负语义对。我们利用对比操作将属于同一类的跨域质心推近，将属于不同类的质心拉远，实现了跨域特征条件分布的细粒度对齐，从而使网络产生更具判别性和良好匹配的表征。

此外，通过计算类之间的相似度来独立建模两个领域的语义关系分布，并探索SRKT从源到目标领域的有效性。为了挖掘不同场景之间的隐藏联系，显式地构建了各个领域场景之间的语义关系，为每个类生成两个相似度分布。最后，最小化分布之间的差异，有效地传递语义相关知识。这里，考虑到目标领域数据没有标签，我们将分类器生成的高置信度伪标签分配给目标领域数据作为标签。本文的贡献可以总结如下。

1)提出了一种新的端到端可训练SRKT框架，用于域自适应遥感场景识别，该框架以对抗的方式产生域不变特征，并通过对比对齐产生更具判别性的表示。本文提出的方法可以提取匹配良好的判别表示。

2) SRKT侧重于在源域和目标域之间传递语义关系知识，挖掘场景之间的内在相关性，有效促进模型在目标域的可转移性。与其他相关方法相比，SRKT可以在目标域未标记时为训练模型提供额外但至关重要的指导。

3)为了验证提出的方法，在具有代表性的遥感数据集上进行了综合实验。定量和定性的实验结果表明，本文所提出的方法优于现有的最先进的方法。

2.相关工作

A.无监督域适应

在UDA中通常考虑特征分布对齐，将属于不同域的不同特征分布拉近，使源域和目标域的数据特征相似[9]、[37]、[38]、[39]、[40]、[41]、[42]、[43]、[44]。Wen等人[45]提出了一种学习域不变局部特征模式并联合对齐整体和局部特征统计的新方法。通过利用多表示对齐，为跨域图像分类任务提供了多表示自适应网络(MRAN)[46]。Lee等人[47]提供了一种切片沃瑟斯坦差异(SWD)，可以捕捉特定任务分类器输出之间的多样性。Li等[48]提出了一种同步语义对齐网络(SSAN)，用于跨域对齐每个类别的质心，并同时利用类别之间的相关性。为了避免采样可变性、类不平衡和数据隐私问题，Tanwisuth等人[49]提出了一种内存和计算效率高的概率框架，该框架提取类别原型并将目标域特征与其对齐。

也存在一些专注于对抗策略的UDA方法，以产生跨源域和目标域的域不变特征[15]、[50]、[51]、[52]、[53]、[54]、[55]。Ganin和Lempitsky[14]通过使域鉴别器难以确定数据所属位置来改进域自适应，并提出了目前广泛使用的梯度反转层(RevGrad)。Cao等[56]提出了一种局部对抗域自适应(partial adversarial domain adaptation, PADA)方法，该方法对离群源类的数据进行加权，同时训练源分类器和域对手，并匹配特征分布。Saito等人[57]提出了一种新的对抗策略，通过最大化两个分类器输出之间的差异来检测远离源支持的目标样本，并学习一个特征生成器来生成靠近支持的目标特征以最小化差异。Lee等人[58]提出了一种基于对抗性放弃(drop to adaptation, DTA)的方法，通过强化聚类假设来学习强判别特征。Dai等人[59]提出了两种基于多源域适应方法的情感分析迁移学习框架，通过结合源假设得出一个好的目标假设。Shi等[60]提出了一种基于渐进式转移的合成孔径雷达(SAR)舰船检测UDA框架，将知识从光学域转移到SAR域。

尽管这些UDA方法在某些场景下取得了很好的效果，但它们并不是专门为遥感场景识别而设计的。由于不同的遥感器获取的遥感数据具有不同的传感器特异性特征，这使得遥感数据的跨域异质性更加突出。这大大削弱了遥感跨场景识别的效果。因此，为了处理这些任务，需要考虑到跨域场景的异构性，专门开发UDA方法。

B.领域自适应遥感场景识别

鉴于UDA的显著成就，近年来提出了大量的领域自适应遥感场景识别工作[1]、[24]、[26]、[28]、[61]、[62]、[63]、[64]、[65]。Lin等[24]提出了一种DuEDL网络，该网络不仅应用了特定于任务的分类器，而且在适应过程中针对不同的领域引入了特定于领域的任务。Zhu等[1]提出了一种基于注意力的多尺度残差自适应网络(AMRAN)，该网络同时考虑了边缘分布和条件分布，从而实现了更全面的对齐。利用注意机制和多尺度策略分别提取更鲁棒的特征和更完整的信息