Unsupervised Open Domain Recognition by Semantic Discrepancy Minimization

Unsupervised Open Domain Recognition by Semantic Discrepancy Minimization

基于语义差异最小化的无监督开放域识别

因为传统的无监督域适应，不能假设源域中的类别只是目标域中类别的子集；在部分对抗域适应和部分加权域适应中虽然解决了上述假设，但是类别空间仍然受源域类别扩展的封闭集中的约束；诸如此类的问题，因此现有的解决方案由于其独特的特性都不能直接用于解决UODR问题。

简单介绍

本文主要是解决无监督的开放域识别（UODR）问题，给出了标记的源域S和未标记的目标域T，其中S中的类别只是T中类别的子集。 任务是对T中的所有样本进行分类，包括已知和未知类别。由于域差异，UODR具有挑战性，当T中存在大量未知类别时，UODR甚至很难弥合。此外，由图CNN（GCN）传播的分类规则可能会因未知类别而分散注意力，并且缺乏归纳能力。为了测量S和T之间不对称标记空间的域差异，本文提出了语义引导匹配差异（SGMD），该方法首先使用S和T之间的实例匹配，然后通过匹配之间的加权特征距离来测量差异实例。并且进一步设计了一个有限的平衡约束，以在已知和未知类别上实现更平衡的分类输出。开发了无监督的开放域传输网络（UODTN），它通过减少SGMD，加强有限的平衡约束和最小化S上的分类损失来共同学习骨干分类网络和GCN。UODTN更好地保留了语义结构并加强了两者之间的一致性。学习的领域不变的视觉特征和语义嵌入。实验结果表明，本文的方法在识别已知和未知类别的图像方面均具有优势。

框架

UODTN框架
它由代表源模型和目标模型（其中共享所有层的权重）的两流连体网络和用于将源域中已知类别的分类规则传播到目标域中未知类别的GCN组成。暹罗网络和GCN以端到端的方式联合培训。根据从源域和目标域中提取的特征，估计提出的语义指导的匹配差异。 通过减少提议的差异，UODTN能够将更合适的源分类器传播到目标域中的未知类别。

过程
每个部分的详细介绍如下
1、生成未知类别的语义嵌入
借助编码在单词向量中的辅助信息和用于未知类别的知识图，可以通过GCN生成未知类别的语义嵌入。我们首先构造一个具有N个节点的图，其中每个节点都是一个C维向量，表示不同的概念/类。为了将已知类别的语义嵌入传播到未知类别，需要其他节点来构造从已知类别到未知类别的完整路径。每个节点都用类名的单词向量初始化。知识图中的各个类之间的关系（例如WordNet）以对称邻接矩阵A ∈ RN×N的形式编码，该矩阵也包括自循环。通过训练GCN预测已知类的分类器权重，GCN同时生成未知类的分类器权重，同时保留单词向量和知识图中显示的语义关系。用生成的分类器替换了预训练的ResNet-50的原始分类器，以形成源域和目标域的分类网络。
2、语义引导的匹配差异
提出语义指导的匹配差异来估计域差异。从源域和目标域中提取所有实例的特征，并在两个域之间构造一个二部图。二部图的权重是所有对的成对距离。在这项工作中，使用L1距离，同时也可以使用其他距离度量。通过使用匈牙利算法解决最小权重匹配问题，获得了源和目标主体之间的粗略且有噪声的匹配实例对（图1左侧用红线链接的对）。直接减少从嘈杂的匹配实例对中测得的差异将不可避免地导致负迁移。因此，提出利用匹配对的语义一致性来过滤这种嘈杂的匹配对。
3、有限平衡约束
为了阻止未知类别的目标域样本被分类到已知类别，故在目标域实例的分类器上添加了一个平衡约束。
4、通过GCN保留语义结构
通过减少语义引导的匹配差异并强制执行有限的平衡约束，不能很好地保留单词向量和知识图中显示的类别之间的语义结构。为了保持这种关系，将GCN整合到培训中，形成了一个端到端的框架。该方法固定了从GCN学习的分类器并微调特征，模型中的分类器可以很好地适应数据，而所有语义之间的关系类别仍通过GCN维护。具体而言，最小化语义指导的匹配差异为已知类别和未知类别的分类器提供了领域不变的功能。 此外，已知类别的分类器同时接受分类损失的监督和GCN的规范化。另一方面，未知类别的分类器在有限余额约束和GCN的指导下进行训练 联合训练不受阻碍，可以在目标域中的已知类别和未知类别之间更好地权衡分类精度。最小化语义导引匹配差异实际上是从特征角度传播语义信息，而GCN则是从语义角度传播语义嵌入。

数据集
有两个数据集，一个是小尺度数据集“I2AwA”和大尺度数据集“I2WebV”