Learning to detect open classes for universal domain adaption

摘要
UDA转移域间知识，不需标签集的任何限制，扩展了域适应的可用性。UDA中，源、目标标签集可能具有单独的标签不被另一个域共享。UDA挑战：对抗域偏移，分类共享类中的目标样本，更突出的：将单独的目标标签集（开放类）中的目标样本标记为"unknown"。这两个挑战使UDA成为一个高度未探究的问题。之前的UDA工作集中于共享类中数据的分类，使用每个类的准确率作为评价度量，错误地偏移了共享类的准确率。
然而，准确地检测开放类是一个关键的任务来使得真实的通用域适应成功。进一步将UDA问题转为一个良好的闭集域适应问题。为了准确的开放类探测，提出了校正多重不确定性（CMU），有一个新颖的可转移性度量由实施过程中的不确定性度量集合进行估计的：熵，置信度和连续性，定义在由一个多分类器集合模型校正的条件概率上。新的可转移性度量准确的量化了一个目标样本项开放类的倾斜程度，还提出了一个新颖的评估度量叫H分数，强调了共享类和unknown类的重要性。使用结果显示CMU比其他域适应方法好（在所有评估度量上），尤其是在H分数上。

1. 引言
DA减轻了深度学习对标记数据的要求，通过利用一个相关域的标记数据。大多DA方法在一定程度上限制了源和目标标签集，很容易与复杂的实际场景相悖。例如，我们可以用有着标注属性的分子数据集，然而当预测未知分子时，我们有两大挑战：（1）分子结构比如脚手架，可能在训练和测试集间不同，导致很大的域偏移；（2）一些分子有从未存在我们的数据集中的属性值，比如未知毒性，会导致类别偏移。为解决挑战，UDA提出来移除所有标签集限制。

如图1(a)，给定任何标记源域和未标记目标域，我们需对目标数据正确分类如果它是属于通用标签集或标记为"unknown"的。UDA提出两个技术挑战：（1）分布匹配仍被需要，但需被限制到通用标签集；（2）作为一个新的挑战，需探测目标开放类的数据而不需任何标记数据或先验知识。探测开放类是UDA的冠军因为它可以直接解决第二个挑战，并且如果被解决 ，第一个挑战也很容易被解决通过移除开放类数据并实施部分域适应方法。
通用适应网络(UAN)基于不确定性和域相似性量化每个样本的可转移性来解决挑战。然而，如3.1分析的，可转移性会有两个缺点：（1）他们使用熵来衡量不确定性和辅助域分类器来衡量域相似性，熵缺乏对不确定和尖锐预测的判别性，尤其是类数量很大时。辅助域分类器的预测大多是过自信的，如图4(b).（2）未校准的预测使得可转移性不可靠，因此UAN不能清楚探测开放类。这一失败被藏起来通过UAN使用的每个类的准确性，如图1(b)，过度关注公共标签集，尤其在大规模类下。如何探测开放类和评估UDA仍是未解决问题。

这篇论文提出了校准多不确定性(CMU)，带有一种新颖的度量方式来量化每个样本的可转移性。我们基于之前工作在两个方面提升了可转移性的质量：（1）我们设计了一个新的不确定性度量，通过为缺少解决特定预测的能力补充熵连续性和置信度。（2）为不确定性计算的多分类器架构自然形成一个集合，是对域偏移设定最合适的校准方法。新的可转移性可以更准确地估计不确定性，并且更清楚的通过不确定性区分不同样本，提升了开放类探测的准确性。进一步地，我们提出一个新的评估度量叫H分数作为在公共标签集上准确性的调和平均值，以及目标私有标签集(unknown)中marking数据的准确性。如图1b，新的准则很高仅当公共和私有标签集的目标数据被准确分类。
文章贡献：
（1）强调了探测开放类对UDA的重要性。提出了校准多不确定性(CMU)有一个新颖的可转移性由熵、连续性和置信度组成。这三个不确定性进行补充来清楚地区分不确定性的不同程度，并且很好的通过多个分类器来校准，更清楚地区分公共类和开放类的目标样本。
（2）我们指出：UAN用的评估度量（每个类准确率）高度偏向公共类，但是不能测试探测开放类的能力，尤其是当公共类数量很大时。设计了一个新的评估方案：H分数，作为目标公共数据准确率和私有数据准确率的调和平均值。它评估了分类公共类样本和过滤开放类样本的平衡能力。
（3）在UDA基准上执行实验。实验结果显示CMU比UAN和其他DA设定下的方法在所有评估度量下效果更好，尤其是在H分数上。更深的分析显示提出的可转移性可以有效地从开放类中区分出公共标签集。

2. 相关工作
域适应设定可分为：闭集、部分、开放集域适应和通用域适应，基于标签集关系。通用域适应移除了标签集上所有限制，并包括了其他所有域适应设定。
闭集域适应假设两个域共享相同的标签集，早期的深度闭集域适应方法最小化深度特征上的(MMD)最大平均差异。最近，基于对抗学习的方法被提出进行一个两个玩家的最大化游戏（在特征提取器和一个与判别器之间）。对抗学习的方法达到高超效果，进一步被提升最近，有新的架构设计。
部分域适应要求源标签集包括目标标签集，接触大量标注数据集比如ImageNet和OpenImage得到更多关注。为解决部分域适应，一个主流工作使用目标预测来构建实例和类级别的权重来down-weight源私有样本。另一个主流使用一个辅助域判别器来量化域相似性。最近工作融合了两个权重机制。
开放集域适应OSDA被提出在两个域中有私有和共享类，但是知道共享标签，使用一个迭代分配和转化ATI算法来解决问题。Lian使用熵权重改进它，Satio通过不要求源私有样本放松了这一问题，因此目标标签集包括源标签集。之后OSDA方法遵循此更具挑战性的设定并通过图像翻译或粗糙-精细的过滤过程来攻击它。
UDA域适应最通用的设定，移除了所有限制并包括了之前所有适应设定。引入了新的挑战，探测目标数据中的开放类甚至源域还有私有类。UAN基于不确定性和域相似性评估了样本的可转移性。然而，不确定性和域相似性更累，被定义为预测熵和辅助域分类器的输出，是不够鲁棒和具有判别性的。我们提出一个新的不确定性衡量作为熵、连续性和置信度的混合，并设计一个深度集合模型来校准不确定性，表征了不确定性的不同程度，并把公共标签集的目标输出和私有标签集的那些区分开来。

3. 校准多不确定性
在UDA中，一个标记源域 D s = { ( x s , y s ) } D^s=\{ {(x^s,y^s)\}} Ds={ (xs,ys)}和一个未标记目标域 D t = { ( x t ) } D^t=\{(x^t)\} Dt={ (xt)}在训练时被提供。注意：源和目标数据采样自不同分布，分别是p和q。用$C^s和C^t$表示两个域共享的公共标签集，而${\overline{C}}^s=C^s\backslash C$和${\overline{C}}^t=C_t\backslash C$是对源和目标分别私有的标签集。$p{c}^s和pc$分别用来表示标签集$C_s和C$中的带标签的源数据分布，$q{c}^t和qc$类似定义。注意：目标标签集在训练过程不可用，仅能用于定义UDA问题，UDA要求一个模型将C中的目标数据区别于${\overline{C}}^t$中的，同时预测C中目标数据的准确标签。
3.1 之前工作的限制
UDA最重要的挑战是探测开放类：比较几种先进的域适应方法，开放类检测模块在表格1中包含UDA方法、UAN和开放集DA方法，STA,和OSBP。STA和OSBP都对一个额外的类使用了置信度作为准则来探测开放类。然而，如下所述，置信度对特定预测缺乏判别性。在UAN中，可转移性来源于不确定性和域相似度。最优地，不确定是是一种良好的测量方式来将从$C和{\overline{C}}^s,{\overline{C}}^t$中中区分出样本。但是不确定性是由熵测量的，缺乏对不确定和极度尖锐的预测的判别性。对域相似度来说，辅助域分类器用域标签通过监督学习进行训练。因此，预测是过自信的。所有之前的开放类检测准则是单边的，并且对特定预测缺乏判别性。
进一步的，STA和OSBP的置信度，UAN的不确定性和域相似性是基于非校准预测的，意味着预测不能反映样本确切的置信度、不确定性或与相似的。因此所有之前的准则都不被准确地估计，因此不能将公共标签集的公共数据从私有标签集区分出来。

3.2 多样不确定性
设计了一个新颖的可转移性来检测开放类。采用了UAN的假设：C中的目标数据比${\overline{C}}^t$中的目标数据有更低的不确定性。一个定义良好的不确定性测量方式应能区分不同程度的不确定性，比如从有点不确定的预测中区分出绝对不确定的预测。然后，我们可以对目标样本的不确定性分级，并标注最不确定的为开放类数据。我们首先分析和比较不同的不确定性衡量在多种预测的判别性上。
熵衡量类分布的平滑性，比${\overline{C}}^t$中的数据更高，比C中的数据更低。我们认为，熵对高度不确定的和极度尖锐的预测有低判别性。图2显示：和三个类概率相关的熵的值。可以看出当概率分布与正态接近时，（比如非常不确定），熵对概率改变不敏感。对于尖锐的预测，几个类的熵变化是不可忽略的。当类数量很大时，尖锐预测间熵值的相对差异是很小的，相比于一系列的熵值。例如，m个类，熵值范围是[0,log(m)]但是在预测(1,0,0,…)和(0.5,0.5,0,…)之间的熵差是log(2)。当m大时，这一差异可被忽略，但实际上这两个预测时很不同的在不确定性上。因此仅通过熵估计不确定性将不能判别不确定的和极度尖锐的预测。

置信度对C中更确定的数据点更高。如图2b，置信值表示了三元等高线，其中置信度即三个类的最大概率是相同的。我们有以下陈述在等高线的长度熵：极度高和低置信度的等高线是短的。证明在补充。在每个等高线熵，即使不同类概率的置信度是相同的，不确定性的程度也是不同的。例如，当置信度是0.5时，最大概率是0.5，其他两个概率可以是(0.5,0)或(0.25,0.25)。很明显(0.5,0.5,0)比(0.5,0.25,0.25)更不确定。因此，置信度在每个等高线上缺乏判别性。等高线越长，等高线中的类分布越多，混淆多种类分布的问题更严重。因此，更短的等高线表示预测更高的判别性，与熵相反并作为补充，对应着极度不确定和自信的预测。
基于上述分析，置信度和熵是对覆盖平滑和不平滑类分布的补充。然而，置信度会有预测错误的问题。如果分类器以一个高置信度将一个开放类数据预测为C中的一个类，那么置信度将错误地选择数据作为一个公共类样本。为了补偿置信度，我们使用建立在多种多样分类器$G_i{|}_{i=1}^m$熵的连续性，这反映了不同分类器的一致性。分类器$G_i$的损失$\xi (G_i)$定义为：
$$\xi (G_i)=E_{(x,y)\sim p}L(y,G_i(F(x)))$$
其中$i=1,...,m$，L是标准交叉熵损失。为保持不同分类器的多样性，我们不将$G_i{|}_{i=1}^m$中的梯度后向传播到特征提取器F和，并用不同的随机初始值初始化$G_i$。连续值越低，数据更有可能在C中。连续性对预测误差更鲁棒，因为所有分类器犯相同错误的概率是低的，这意味着所有多样分类器同时错误地预测一个样本到一个相同的类中。因此，连续性补偿了预测误差的置信度。置信度通常在平滑分布上会失败，因为它们彼此接近，并且显示了高连续性尽管他们是不确定的。
基于以上比较，我们可以总结：熵、置信度和连续性都有他们的优势和劣势，不能独立的代表不确定性。但他们互为补充，并且可以合作形成一个不确定性度量，对所有类型的类分布有高判别性。因此，我们选择三个准则的混合。每个分类器$G_{}$