Contrastive Embedding for Generalized Zero-Shot Learning：广义零样本学习的对比嵌入

CVPR 2021 paper

1.摘要

广义零样本学习（GZSL）的目标是当只提供可见类的已标记示例来识别可见类和不可见类的对象。

生成模型可以合成不可见的类中缺失的视觉特征，以减轻GZSL中的数据不平衡问题。然而，由于原始的视觉特征空间缺乏区分信息，对于GZSL分类是次优的。

我们建议将生成模型与嵌入模型集成，从而产生一个混合的GZSL框架。混合GZSL方法将生成模型产生的真实样本和合成样本映射到一个嵌入空间中，在那里我们执行最终的GZSL分类。

具体来说，我们为我们的混合GZSL框架提出了一个对比嵌入（CE）。所提出的对比嵌入不仅可以利用类监督，还可以利用实例监督，而后者通常被现有的GZSL研究所忽视。

2.思想

在语义空间中，我们可以通过直接将嵌入的数据点与给定的类级语义描述符进行比较来进行ZSL分类。语义嵌入方法在传统的ZSL中表现出色，但在更具挑战性的GZSL场景中，它们的性能大幅下降，因为它们在测试阶段严重偏向于可见类。

特征生成方法可以弥补不可见类训练样本的不足。将真实可见的训练特征和合成的不可见特征结合起来，可以训练一个监督模型来实现GZSL分类。然而，特征生成方法在原始特征空间中产生合成的视觉特征会远离语义信息，因此缺乏判别能力，对于GZSL分类来说是次优的。

为了两全其美，在本文中，我们提出了一个混合GZSL框架，将嵌入模型嫁接到特征生成模型之上。在我们的框架中，我们将特征生成模型产生的真实可见特征和合成不可见特征映射到新的嵌入空间。我们在新的嵌入空间中执行GZSL分类，而不是在原始特征空间中。

我们没有采用常用的语义嵌入模型，而是在我们的混合GZSL框架中提出了对比嵌入，ZSL中的传统语义嵌入依赖于Ranking loss，这要求正确（正）语义描述符在训练样本嵌入方面的排名高于任何错误（负）描述符。在对比嵌入中我们不仅希望利用GZSL的类别监督，而且还利用实例监督。

3.创新与贡献

1.我们提出了一个混合GZSL框架，结合了基于嵌入的模型和基于特征生成的模型；

2.在我们的混合GZSL框架中，我们提出了一种对比嵌入，它可以同时利用分类监督和实例监督；

3.我们在五个基准上评估我们的GZSL模型，我们的方法可以在这些数据集上实现最先进或具有竞争力的结果。

4.问题的引出与模型图

现有的语义嵌入方法仅利用类监督，这可能不适合某些示例，因为它们与类级语义描述符不完全匹配。所提出的对比嵌入不仅可以利用类监督，还可以利用实例监督。

5.框架

5.1 混合GZSL框架

传统ZSL中的语义嵌入(SE)旨在学习一个嵌入函数 E ，它将视觉特征 x 映射到表示为 E(x) 的语义描述符空间中。常用的语义嵌入方法依赖于结构化损失函数。根据语义描述符空间中的点积相似性，结构化损失要求 x 的嵌入比其他类的描述符更接近其真实类的语义描述符 a 。具体而言，结构化损失公式如下：

我们的混合GZSL框架，集成了嵌入模型和特征生成模型。在我们的混合GZSL框架中，我们将真实特征和合成特征都映射到嵌入空间中，在那里我们执行最终的GZSL分类。在最简单的形式中，我们只是选择语义描述符空间作为嵌入空间，并结合公式1中定义的语义嵌入的学习目标和公式2中定义的特征生成目标。为了将合成特征也映射到嵌入空间，我们为合成特征引入以下嵌入损失：
值得注意的是，我们仅使用可见类的语义描述符来制定公式3。因此，我们的基本混合GZSL方法的总损失采用以下形式：

5.2 实例级对比嵌入

5.3 类级别对比嵌入

我们学习了一个比较器网络 F(ℎ,a)，它测量嵌入 ℎ 和语义描述符 a 之间的相关性分数。在比较器网络 F 的帮助下，我们将嵌入空间中随机选择的点 ℎ_i 的类级对比嵌入损失公式化为 S 路分类子问题。这个子问题的目标是从所见类的总 S 个语义描述符中选择唯一一个正确的语义描述符。在这个问题中，唯一的正语义描述符是对应于ℎ_i 类的语义描述符，而来自其他类的剩余 S−1 个语义描述符被视为负语义描述符。同样，我们可以计算这个 S 路分类问题的交叉熵损失如下：

其中τ_s>0是类级对比嵌入的温度参数, S 是看到的类的数量。类级对比嵌入依赖于类监督来加强样本在新嵌入空间中的判别能力。
我们为类级对比嵌入定义了以下损失函数：

总体损失如下：

6.实验

6.1 GZSL

6.2 ZSL

6.3 组成分析

6.4 可视化

7.总结

1.在本文中，我们提出了一个混合GZSL框架，集成了嵌入模型和生成模型。所提出的混合GZSL框架将真实和合成的视觉样本映射到一个嵌入空间，我们可以在其中训练一个监督识别模型作为最终的GZSL分类器。

2.具体来说，我们在我们的混合GZSL框架中提出了一个对比嵌入模型。我们的对比嵌入模型不仅可以利用类监督，还可以利用实例监督。后者在现有的GZSL研究中通常被忽略。实验表明，我们的具有对比嵌入的混合GZSL框架(CE-GZSL)在三个基准数据集上达到了最先进的水平，并在两个数据集上达到了第二好的水平。