【可见光遥感四】Unifying Top–Down Views by Task-SpecificDomain Adaptation

motivation

在本文中，我们的目标是通过探索卫星/空中/地面视图的潜在相关性来学习图像的统一表示。受领域自适应(DA)最新进展的启发，我们为此提出了一种新的特定任务的DA方法。与传统的DA方法不同的是，该方法不仅应用了特定于任务的分类器，而且在自适应过程中针对不同的领域引入了特定于领域的任务。实验在两个新提出的地面/卫星到空中场景适应(GSSA)数据集上进行。由于地面/卫星场景与航空场景之间的语义差距远大于地面场景之间的语义差距，因此这些场景之间的数据处理任务比传统的数据处理任务更具挑战性。在GSSA数据集上，我们不仅展示了所提出的无监督数据处理方法，还在讨论部分探讨了少镜头数据处理方法。

所提出的方法易于实现，并且在所研究的数据集上，我们的方法实质上优于最先进的方法。我们希望针对新的GSSA数据集提出的方法可以为未来的研究人员提供一个良好的基线。

1. introduce

基于对抗性学习(adversarial learning)是DA的一个热门研究方向，即以对抗性的方式对不同分布的数据进行对齐。训练特征生成器生成源域和目标域样本的域不变特征，以欺骗训练的域鉴别器来区分由生成器生成的特征的域标签[2]，[31]。然而，上述基于对抗性学习的UDA存在三个潜在的局限性。首先，此方法可能不是特定于任务的。适应后的目标域数据可能会失去其判别性数据分布，而这对其分类至关重要[17]，[22]，[30]。目标数据生成的对齐特征向量在特定任务分类器中可能表现不佳。其次，当域间隙过大或不相关时，完全未标记的目标域的模型可能会失败。第三，在自适应过程中对源域和目标域数据进行相同的处理。更具体地说，来自两个不同领域的原始数据通过一个标准的特征生成器，然后通过一个特定于任务的分类器。这样的流程可能不可取，因为来自两个域的数据应该用于不同的目的:目标域数据需要用于特定于任务的分类器，而源域数据应该是补充的。源域数据的目标主要与特征自适应有关，而与分类任务无关。为了使这两个领域分别为各自的目标发挥良好的作用，我们提出了双对抗网络。

在这项工作中，我们分配了两个具有特定于领域的任务的领域。我们提出的特定领域DA框架与传统DA框架之间的可视化比较如图2所示。源域主要用于功能适配，而目标域则是特定于任务的。为了在未标记的目标域数据中实现特定任务的目标，我们引入了两个独立的分类器，它们可以对源样本进行正确的分类，同时为目标域数据提供不一致的分类结果。为了优化目标域特征生成器，不一致会产生模型损失。提出了双对抗学习来完成特定领域的任务。此外，对于具有较大域间隙的自适应，我们尝试引入少镜头(FS)监督。

提出的双对抗学习方法包括四个参与者:两个特定任务分类器、源特征生成器、目标特征生成器和域鉴别器。在第一个对抗学习阶段，源域特征生成器通过模仿在该阶段固定的目标域特征来生成特征，以欺骗域鉴别器。在第二个对抗性学习阶段，任务分类器的权重由第一阶段生成的源域特征初始化，产生不一致的分类结果，以欺骗目标域特征生成器:让它误认为两个分类器(tc)是针对不同的任务。这样的特征生成器更像是一个“任务鉴别器”。只有当两个特定于任务的分类器提供相同的分类结果时，它才会意识到tc是针对同一任务的。这两个阶段将不断迭代，直到骗过域鉴别器，同时不骗过目标特征生成器。与传统的对抗性DA相比，我们的源域特征生成器只需要生成特征进行特征自适应࿰