Prototypical Matching and Open Set Rejection for Zero-Shot SemanticSegmentation

原型匹配和开放集拒绝的零次语义分割法

摘要：

解决语义分割的DCNN方法需要大量的像素化注释的训练样本。在这项工作中，我们提出了零次语义分割，其目的是不仅要识别训练中包含的已见类，而且要识别从未见过的新类。我们采用了一个严格的归纳设置，在训练过程中，只有看过的类的实例是可以访问的。我们提出了一种开放意识的原型匹配方法来完成分割。原型方法通过一组原型来提取视觉表征，使其能够方便灵活地添加新的未见过的类。原型投影被训练用来将语义表征映射到基于所见实例的原型上，并为未见的类别生成原型。此外，一个开放集拒绝法被用来检测不属于任何已见类的物体，这大大减少了由于缺乏已见训练实例而将未见物体误归入已见类的情况。我们将该框架应用于两个分割数据集，即Pascal VOC 2012和Pascal Context，并取得了令人印象深刻的先进性能。

引言：

在语义分割[8, 13, 14, 12]中，其目的是对给定图像中的每个像素进行分类，巨大的挑战是对带有像素注释的大量训练样本的需求所引起的。在面临同样困境的图像识别领域，零点学习（ZSL）[32, 41, 18]被提出，其中分类模型被训练为使用从已见类中学习的知识来适应未见物体。同样地，在语义分割中也提出了零点分割（ZSS）[47, 5, 20, 31, 36, 26, 21]。ZSS的目标是为已见（有注释的实例）和未见（在训练中从未见过）类别的对象生成分割掩码，如图1所示。初步的ZSL设置不需要区分已见和未见的类别，这是不现实的，与现实世界的识别条件相矛盾。然后提出了一个实用的广义零点学习（GZSL）[42]，因为看到的类和未看到的类的图像样本经常一起出现，同时识别这两组很重要。零点分割（ZSS）自然是GZSL的一个类似物，因为用于分割的给定图像已经包含了不同的类别。本文中的 "ZSS "代表的是广义的情况。在ZSS中，一个重要的信息来源是语义表示--由高维向量编码的语义信息。语义信息可以包括自动提取的词向量、手动定义的属性向量、基于上下文的嵌入，或它们的组合。每个类别（无论是看到的还是未看到的）都有自己的语义表示。利用未见过的信息的方式将ZSS分为两种设置：归纳式设置和转换式设置（见图1）。在归纳式训练中，只有看到的类的视觉特征和语义表征是可用的；而在归纳式训练中，除了看到的类的视觉特征和语义表征之外，人们还可以获得未看到的类的语义表征（有时是没有注释的图像）。尽管有几种方法（如ZS3[5]、CaGNet[20]和CSRL[33]）是在反演式学习下开发的，但这种设置确实是不切实际的，因为它违反了未见过的假设，大大减少了挑战。尽管如此，这两种设置都达成了一个共识，即在训练过程中不应该出现或利用未见过的类的ground truth。因此，应该防止在训练分类器时滥用未见过的类的基础事实。

在这项工作中，我们遵守一个严格的归纳设置，在训练过程中，只有看到的类的信息（即语义表征、视觉特征和基础真理）是可用的。在ZSS中，为了将知识从看到的类转移到未看到的类，预计会有一个从语义空间到视觉特征空间的映射函数。

• 例如，ZS3[5]在已见类上训练了这样一个生成器，并使用它为未见类产生假的视觉特征。然后，这些假的特征被用来微调分类器（事先在看到的类上训练）。
• 然而，有争议的是，他们的分类器训练使用的是假特征和相应的标签对，这需要实际上无法获得的信息（例如，未见过的像素的地面真相，未见过的类的数量和属性）。
• 此外，训练好的模型不能再处理新增加的未见过的类别，显示出固定的能力。

在这项工作中，为了打破这一限制，我们采用了一种原型方法，而不是卷积分类器方法。我们通过训练与类一一对应的原型来提取高级视觉表征。通过寻找与其自身特征最接近的原型，对每个像素进行分割。因此，语义信息和视觉特征之间的映射是由原型向量弥合的。我们提出了一个轻量级的投影网络来学习从语义信息到原型的映射。在测试