Distance-Based Background Class Regularization for Open-Set Recognition

用于开放集识别的基于距离的背景类正则化

摘要：

1. 在开放集识别（OSR）中，分类器应该能够拒绝未知类样本，同时保持强大的封闭集分类性能。为了解决基于预训练的Softmax分类器的OSR问题，以前的研究调查了离线分析，例如，基于距离的样本拒绝，这可以限制已知类数据项的特征空间。由于这类分类器仅基于已知类样本进行训练，因此可以使用背景类正则化（BCR），在训练阶段将背景类数据作为未知类数据的替代物，以提高OSR的性能。
2. 然而，以前的正则化方法限制了OSR的性能，因为它们将已知类数据归入一个单一的组，然后旨在将它们与异常情况区分开来。
3. 在本文中，我们提出了一种适用于OSR的新型基于距离的BCR方法，该方法以类的方式限制已知类数据的特征空间，然后使背景类样本位于远离有限的特征空间。我们使用基于距离的分类器，而不是传统的Softmax分类器，它利用线性判别分析的原理。基于用于分类的距离度量，我们设计了一个新的正则化损失函数，可以在保持稳健的封闭集分类性能的同时，对已知类和背景类样本进行对比。
4. 通过广泛的实验，我们表明，所提出的方法以简单的推理过程提供了稳健的OSR结果。

引言：

在机器学习（ML）中，分类算法已经取得了巨大的成功。通过卷积神经网络的最新进展，其分类性能已经超过了人类水平的图像分类性能（He等人，2015）。然而，这种算法通常是在封闭集假设下开发的，即假设每个测试样本的类别总是属于预先定义的类别集之一。尽管这一传统假设在现实世界的应用中很容易被违反（分类器可能面临未知类的数据），但传统的算法很可能迫使未知类的样本被归入已知类中的一个。为了解决这个问题，开放集识别（OSR）问题（Scheirer等人，2013）旨在将未知类样本正确地分类为 "未知"，将已知类样本分类为已知类之一。根据OSR的定义（Scheirer等人，2013），需要适当限制已知类数据的特征空间。为了满足这一要求，各种基于传统ML模型的OSR方法被开发出来。

此前，Scheirer等人（2014）校准了支持向量机（SVM）的决策分数。基于 "如果对已知类别的数据样本进行准确建模，则可以拒绝大量未知类别的数据样本 "这一直觉，Jain等人（2014）提出了PI-SVM，利用位于SVMs决策边界附近的已知类别样本进行统计建模。之后，Junior等人（2016）试图根据最近邻居的原则´解决OSR问题。考虑到数据的分布信息，Rudd等人（2018）通过利用边际分布的概念提出了极值机。由于深度神经网络（DNNs）通过学习数据的高层表征而具有强大的分类性能，DNNs的OSR方法受到了极大的关注。基于传统的基于ML的OSR方法所使用的理论基础，Bendale & Boult（2016）提出了第一个用于DNN的OSR策略，称为Openmax，它校准了预训练的Softmax分类器的输出对数值。为了改进Openmax，Yoshihashi等人（2019年）提出了分类-重建学习，以做出稳健的潜在特征向量。之后，Oza & Patel（2019）提出利用类条件的自动编码器，并使用其重建误差来评估每个输入样本。Sun等人（2020）采用了几个类条件变异自动编码器进行生成式建模。尽管以前使用判别模型的OSR方法将离线分析应用于预先训练好的Softmax分类器，或采用复杂的DNN模型，但由于分类器的训练仅基于已知类别的样本，所以它们的性能有限。

为了缓解这个问题，人们可以使用背景类正则化（BCR）来实现强大的经验结果。然而，以前的BCR方法（Dhamija等人，2018；Hendrycks等人，2019；Liu等人，2020）不足以妥善解决OSR问题。为了设计一个有效的开放集分类器，克服之前的局限性，我们提出了一种适合OSR的新型BCR方法，该方法使用基于距离的分类器和新型损失函数进行正则化。我们将在下一节提供详细的描述。

OSR问题解决的是分类设置，可以面对训练期间未见过的类别的测试样本。在这种情况下，开放集分类器的目的是对已知类样本进行正确分类，同时拒绝未知类样本。与OSR类似的问题是分布外（OOD）检测（Hendrycks & Gimpel, 2017），其目的通常是拒绝远离训练数据分布的数据项。在之前的OOD检测研究中（Hendrycks & Gimpel, 2017; Liang et al., 2018; Lee et al., 2018a;b），OOD样本往往来自其他数据集甚至是噪声图像。在本文中，我们旨在拒绝那些类别未知但与训练数据相关的测试数据，这缩小了传统OOD检测任务的范围。此前，Scheirer等人（2013）基于开放空间风险RO的概念，引入了OSR问题的正式定义，RO是对正标记的球SV和位于远离SV的开放空间O的相对测量。由于在O中标记任何数据项都会产生开放空间风险，因此很简单，如果一个分类器接受无限宽区域的数据，即其开放空间风险是无界的（RO=1），则该分类器不能成为OSR问题的解决方案。该定义意味着解决OSR问题的基本要求是：1）约束开放空间风险；2）理想地平衡它与经验风险，以保持低分类错误率。与传统的封闭集分类器不同，开放集分类器需要限制已知类数据的空间以约束其开放空间风险。为了确保约束开放空间风险，Scheirer等人（2014）提出制定紧凑消减概率（CAP）模型。CAP模型的原理是，如果一个分类器的支持区域从训练数据中向各个方向衰减，对该区域进行阈值处理将约束该分类器的开放空间风险（Boult等人，2019）。如图1所描述的，该图比较了传统的封闭集和开放集分类问题，适当地建立类的CAP模型是满足OSR两个基本要求的有效策略。