【最优传输论文二十三】2022 Unified Optimal Transport Framework for Universal

motivation

通用领域自适应(Universal Domain Adaptation, UniDA)的目的是在不受标签集约束的情况下，将知识从源领域转移到目标领域。由于两个领域都可能包含私有类，因此确定领域对齐的目标公共样本是UniDA的一个基本问题。大多数现有方法需要手动指定或手动调整阈值来检测共同样本，因此由于共同类别的不同比例，它们很难扩展到更现实的UniDA。

此外，由于这些私人样本被视为一个整体，它们无法识别目标私人样本之间的不同类别。在本文中，我们提出在一个统一的框架下使用最优传输(OT)来处理这些问题，即UniOT。首先，设计了一种具有自适应填充的基于ot的部分对齐方法来检测常见的类，而不需要为现实的UniDA预先定义阈值。它可以根据从OT中获得的分配矩阵的统计信息，自动发现公共类和私有类之间的内在差异。其次，我们提出了一种基于ot的目标表示学习，它既鼓励样本的全局识别，又鼓励样本的局部一致性，以避免对源的过度依赖。值得注意的是，UniOT是第一个能够在UniDA的目标域中自动发现和识别私有类别的方法。因此，我们引入了一个新的度量H3-score，从公共样本的准确性和私有样本的聚类性能两方面来评估性能。广泛的实验清楚地表明， UniOT技术优于UniDA各种最先进的方法。

1.introduce

深度神经网络在广泛的计算机视觉任务中提高了性能，但在源域和目标域数据来自不同数据分布的跨域任务中仍然难以很好地泛化。无监督域适应旨在通过最小化源与目标之间的域间隙，将知识从完全标记的源转移到未标记的目标领域。然而，现有的UDA方法在一个强闭集假设下处理领域差距，即两个领域共享相同的标签集，限制了它们在现实场景中的应用。最近提出了部分域自适应和开放集域自适应来放宽闭集假设，允许源域和目标域中分别存在私有类。然而，上述所有设置都严重依赖于公共类位于目标领域的先验知识。由于目标域是无监督的，因此对于UDA来说，这可能是不合理和不现实的。

为了解决上述问题，提出了一种广义的设置，称为通用领域适应(UniDA)，允许两个领域拥有私有类，但不知道先验信息，例如匹配目标领域中的公共类和类数。在目标域中检测公共样本和目标-私有样本是UniDA的一个重要问题。

现有的UniDA方法通过使用一些手动指定或手动调整的阈值来检测公共和目标私有样本。因此，由于图1(a)中常见类别的比例不同，这些方法并不适用于更现实的UniDA。而且，大多数现有的UniDA方法将所有目标私有样本视为一个单一的类，无法识别其中的不同类别，如图1(b)所示。本文首次强调了UniDA方法应该具有自动发现和识别目标领域私有类别的能力。

从本质上讲，公共类检测和私有类发现问题都可以看作是分布传输问题。因此，这些问题可以在最优运输(Optimal Transport, OT)的框架内进行表述。尽管已经提出了许多基于ot的无监督域自适应方法，但大多数方法考虑的是闭集条件下的跨域样本到样本映射，而不是专门针对标签集未对齐的UniDA问题。具体来说，OT鼓励使用全局映射来挖掘领域统计属性，以发现公共样本和目标私有样本之间的内在差异。此外，OT约束还可以避免聚类表示问题中的退化解。受此启发，OT可以是关于域间公共类检测和域内私有类发现的适当表述。

在本文中，提出了一个统一的最优传输框架，即UniOT，从公共类检测的部分对齐和私有类发现的目标表示学习的角度来解决通用领域适应问题。在公共类别检测方面，本文提出了一种基于ot的部分对齐方法来检测目标域中的公共样本，并开发了一种自适应填充方法来处理不同比例的公共类别。它不需要预先定义阈值，可以根据OT获得的分配矩阵的全局统计信息，自动发现公共类和私有类之间的内在差异。对于私有类发现，本文提出了一种基于ot的目标表示学习，它既鼓励样本的全局识别，又鼓励样本的局部一致性，以避免过度依赖源监督。此外，UniOT具有自动发现和识别目标领域中的类别的能力，这得益于OT的表示学习。作者认为一种竞争性的UniDA方法既要达到对普通类的高分类准确率，又要学习目标私有类的判别表示。然而，现有的方法并没有提供任何定量的度量来评估这些未知样本的目标表示性能。为了发现目标私有类，本文引入了一个新的评价指标H3-score，它不仅考虑了通用类的准确性，而且考虑了私有类的聚类性能。

我们的贡献总结如下:

(1)建议UniOT处理UniDA中的两个基本问题，包括公共类检测和私有类发现。据我们所知，这是第一次尝试通过最优传输在统一框架中共同考虑公共类检测和私有类发现。

(2)提出了一种基于自适应填充的局部对齐方法，用于常见的类检测，而不需要任何预定义的阈值。它可以自动适应更现实的UniDA场景，其中常见类的比例是不同的，如图1(a)所示。

(3)考虑到聚类的全局判别和样本的局部一致性，设计了一种基于ot的表征学习技术用于私有类发现。与大多数将所有目标私有样本作为一个整体处理的现有方法不同，本文的UniOT可以自动发现和识别目标域中的私有类别。

2.related work

Universal Domain Adaptation作为一种更广义的UDA设置，UniDA更具挑战性和现实性，因为类别的先验信息是未知的。UAN、CMU和TNT设计了样本级不确定度准则来测量领域可转移性。具有较低不确定度的样本被鼓励用于具有较高权重的对抗性适应。大多数UniDA方法使用样本级别标准检测常见样本，这需要一些手动指定和手动调整的阈值。此外，过分依赖范畴下的源监督，忽略了目标领域的判别表征DANCE提出邻域聚类作为一种自监督技术来学习对区分“未知”类别有用的特征。DCC枚举目标域的聚类数，以获得最优的跨域共识聚类作为公共类ÿ