【域适应论文七】2023 Dual teacher-student based separation mechanism for openset domain adaptation

1. motivation

开放集域自适应(OSDA)是一种较为现实和具有挑战性的域自适应协议，它假设源域和目标域的标签空间不同。现有的OSDA方法缺乏识别未知样本的能力，并且更容易受到负迁移的影响。对已知样本进行域适应之前，有必要对未知样本进行分离和拒绝。OSDA方法面临两个挑战。(1)如何尽可能准确地区分已知和未知样本。(2)如何精确匹配已知样本在不同领域的表示分布。这两个挑战激励我们在弥合域间隙之前分离未知样本以减轻负迁移。

因此本文提出了一种基于双师生的样本分离机制，以准确识别和分离目标域中的已知和未知样本。具体来说，在师生结构中，学生对目标未知样本不敏感，因为他们只学习源领域知识。利用学生的这一特性构建了双师生结构(dual teacher-student structure, DTS)，量化了目标样本与源域之间的相似性，提高了相似性评估的准确性和鲁棒性。此外，进一步建立了一个选择性对抗学习模型，利用相似性评估得出的权重对目标样本进行加权。这促进了具有更高权重的目标样本分布和源样本分布的跨域对齐。此外，指标应该同样反映已知和未知类的分类准确性。许多早期的方法使用OS作为已知和未知样本上模型性能的综合度量。然而，OS指标是不平衡的。Bucci等[24]注意到OS在平衡已知和未知样本分类准确率方面的不足，提出了一种新的更合理的评价指标HOS。在基准数据集上进行的大量实验表明，所提出的方法比现有方法具有显着优势。

本研究的主要贡献如下:

• 本文设计了一个基于双师生结构(DTS)的相似性评估系统，该系统的灵感来自于保持两种师生结构的可变性可以提高评估的准确性和稳定性的假设。在OSDA方向上，DTS是一种量化目标样本与源域之间相似性的新方法。
• 对于OSDA场景，本文提出了一种新的由双师生结构驱动的样本分离机制来解决语义转移问题。该分离机制利用DTS构建的样本级相似性评分实现了未知样本和已知样本的软分离，克服了传统OSDA方法对未知样本识别能力差的缺点。基于已获得的高质量权重，本文提出了一种基于选择性权重的对抗自适应方法来解决OSDA场景中的域移位问题。
• 在OSDA基准数据集上进行了广泛的实验，与现有方法相比，所提出的DTSSM实现了最显著的性能。

在本文中，DTSSM首次将DTS结构应用于开集域自适应，此外DTS用于度量目标样本与源域之间的相似性，而不参与目标样本的最终分类，这与现有方法不同。

2. Method

2.1. Problem formulation

标记和未标记的样本分别来自不同的数据分布，分别称为源域和目标域。在开集域自适应中，本文分别用Ds = {(xs i, ys i)}Ns i=1和Dt = {xt i}Nt i=1表示源域和目标域，其中xs和xt分别表示源样本和目标样本，ys表示源标签。用Ns和Nt分别表示标记的源样本和未标记的目标样本的数量。源域与一组表示为Cs的类相关联，其中包含了|Cs|类。目标域对应的目标类集合记为Ct，它包含Cs中的所有类以及一些未知的其他类，即CsCt， |Cs| < |Ct|。把Cs和Ct共有的类称为已知类，把Ct中附加的类称为未知类的集合Ct\s。为了便于表示，用K表示已知类的数量，并将所有未知类归为一个类，因此OSDA的目标是将目标样本正确地分类到{1,2，. . . . . .,K