Improved Robustness to Open Set Inputs viaTempered Mixup

摘要

监督分类方法通常假定评估数据来自与训练数据相同的分布，并且所有的类在训练中都存在。然而，现实世界的分类器必须处理远离训练分布的输入，包括来自未知类别的样本。开放集的鲁棒性是指将以前未见过的类别的样本正确地标记为新的，并避免高置信度、不正确的预测的能力。现有的方法集中在新的推理方法、独特的训练结构或用额外的背景样本补充训练数据。 在这里，我们提出了一个简单的正则化技术，很容易应用于现有的卷积神经网络结构，在没有背景数据集的情况下提高开放集鲁棒性。我们的方法在开放集分类基线上取得了最先进的结果，并且很容易扩展到大规模开放集分类问题。

1 引言

现代监督分类方法通常假定训练和测试数据来自相同的分布，并且测试集中的所有类别都存在于训练中。然而，部署的模型无疑会暴露在与训练样本不相似的非分布式输入中，这些模型有望稳健地处理这些新样本。在这种 "开放世界 "环境中的表现往往被当前的计算机视觉基准所掩盖，在这些基准中，训练集和测试集具有相同的类别，并且数据是从相同的基本来源中采样的。这个问题的一个解决方案是开发开放集分类器，它有能力识别不属于任何训练类的新输入，这样它们就不会被分配一个错误的标签[23]。这种能力对于开发安全关键系统（例如，医疗应用、自动驾驶汽车）和在部署过程中自动学习的终身学习代理尤为重要[19]。

在现有的卷积神经网络（CNN）架构中，有两种主要的范式来实现开放集分类。第一个范式是用一个新的推理机制取代标准的封闭集预测方案[2,17,16,24]。第二种范式是在训练过程中对分类模型进行正则化处理，使其能够更好地将已知的类别与潜在的未知数分开[15,8]。对于后一种方法，最有效的方法是用大量的背景图像进行训练，以便在遇到一个新的或未知类别的样本时，对过于自信的预测进行惩罚。这种方法已被证明在开放集分类中表现出色，但现有的结果只限于小规模的数据集。在某种程度上，这是因为构建一个有效的、在语义上不与大规模训练数据集重叠的背景数据集越来越困难。

在本文中，我们通过提出一种新的训练方法来克服这一局限性，该方法在没有获得一组背景/未知输入的情况下，对已知训练类之外的样本进行惩罚，使其过度自信的预测。相反，我们的方法使用一种新颖的Mixup数据增强技术[29]，结合一个独特的辅助损失函数，幻化出无效的图像。本文有以下贡献。

• 1.我们提出了一种新的端到端训练算法，用于规范现有的CNN架构，用于开放集分类，不需要使用一个明确的背景数据集。
• 2.我们提出了一个新的损失函数，专门用于训练模型对未知类别的样本信心不足。
• 3.我们表明，我们的方法超过了在标准的小规模基准设置上使用明确的背景数据集的方法，用于开放集分类（例如MNIST和CIFAR）。
• 4.我们证明，我们的方法可以很容易地扩展到大规模数据集上的开放集分类，并产生与背景集正则化相媲美的结果，而不需要建立额外的数据集进行训练。

2.相关工作

2.2 开放集分类的推理方法

推理方法通过创建一个独特的接受分数函数和拒绝新输入的阈值，将开放集分类能力纳入一个预训练的CNN[23,2,3]。目前最先进的推理方法通常依赖于CNN多层的特征[16,1]，许多方法通过CNN使用多个前向和后向通道来提高性能[17,16]。 这些方法在推理过程中大大增加了计算和内存需求[21]，这对于部署的模型来说可能是次优的。相反，我们专注于通过模型正则化建立更好的开放集分类性能，这样，在推理时间内，可以使用更简单和计算效率高的方法，如置信度阈值来检测未知类别。

2.3略

2.4混合训练

混合训练是一种正则化方法，它通过对两个输入样本进行元素凸组合，将训练集中的两个独立图像合并为一个例子[29]。混合训练可以提高模型的准确性[29]，模型的校准[26]，以及模型对某些类型的图像损坏的鲁棒性[5]。 然而，混合训练还没有被证明对开放集分类有好处，在[5]中，混合训练导致检测未知类别与基线交叉熵训练相比减少50%。

Mixup是基于Vicinal Risk Minimization（VRM）[4]的原则，即分类模型不仅在训练集中的直接样本上进行训练，而且在每个训练样本的附近进行训练，以便更好地对训练分布进行采样。在Mixup中，这些临近的训练样本（~ x; y~）被生成为两个随机选择的输入样本xi和xj的简单凸组合。

其中yi和yj是所选输入样本的相关目标。线性插值因子λ 2 [0; 1]是从对称的Beta(α; α)分布中提取的，其中分布的形状由超参数α决定，它将大部分未混合的例子的训练与平均输入和标签的训练进行比较。通过对这些临近的例子进行标准的交叉熵损失训练，该模型学会了在类流形之间改变其输出的强度。这种训练的效果是在大规模的图像分类任务中大大改善了模型的校准和准确性[30,26,5]。我们的方法使用Mixup的一个变体来克服对明确的背景集与信心损失训练的需要。 

3 Mixup和开放集分类

3.1 重新平衡类目标

按照最初的提议，Mixup是一种模型正则化的形式，对输入和目标的线性组合进行训练，鼓励模型在类流形之间学习更平滑的决策边界。虽然平滑的决策边界能促进更好的泛化，但它们也有利于开放集分类。这是因为更平滑的边界减少了模型在输入不在从训练集学到的类流形上的情况下产生自信但错误的预测的可能性。通过对输入和特征空间嵌入的线性混合创造额外的样本，混合基本上将单标签分类问题变成了多标签问题。那么问题来了：在训练模型时，目标的线性组合是否适合在类流形之间的空间产生准确的不确定性估计？

图3：目标再平衡。理想情况下，对于未知输入，分类器的输出概率将接近均匀分布。使用Mixup，更多的混合样本应该有更高的熵，但这并没有发生在原始表述中所需要的程度。相反，Tempered Mixup使用了一种新的配方，确保混合样本的目标熵接近均匀分布的熵。该图在10类和500类的设置中都展示了这一点。

我们通过观察通过交叉熵损失训练的模型的目标熵如何作为混合因子λ的函数而变化来回答这个问题。如图3所示，使用目标的线性组合（公式3）来混合标签并不能捕捉到我们所希望的不确定性的增加，而这种不确定性是针对偏离类流形的例子，例如高度混合的例子。相反，我们可以用一个由插值因子λ调制的额外的标签平滑项来重新平衡目标标签，调整后的目标混合方案如下。

 其中~ y是公式3中的正态线性混合，K是已知目标类别的数量。使用这种新颖的再平衡方法，我们可以调节高度混合样本的模型置信度，使其接近均匀分布的预测。如图3所示，这种方法为高度混合的样本分配了更高的目标熵，包括它们从同一类别中混合出来的时候。随着已知类别数量的增加，这种调和效应会被放大。

3.2 Tempered Mixup Tempered

Mixup是一种开放集分类训练方法，通过使用Mixup的修改形式和信心损失正则化的新变体，克服了对背景训练集的需要。使用Mixup可以根据训练的输入分布创建非模态样本，并且可以控制模拟的异常值与已知类别的相似程度。这使得CNN能够通过一些不同的专门推理方法，包括基线置信度阈值，学习对开放集类具有鲁棒性的特征。（是不是可以搞个随机混合，随机）

Tempered Mixup不是用标准的交叉熵（softmax）损失进行训练，而是用标准Mixup算法中规定的从两个随机选择的图像的凸组合中抽取的标签进行训练，Tempered Mixup使用相同的混合输入，但使用辅助信心损失函数的修改版本来规范模型如何在深度特征空间中映射这些类间输入。 为了做到这一点，我们将从对称Beta分布中抽取的每个样本的Mixup系数应用于修改的信心损失方程式。这使我们能够同时最小化对已知类别的样本进行错误分类的损失，并将远离已知类别的未知样本映射到原点。 Tempered Mixup损失由以下公式给出。

其中σS是应用于向量F（X~）的softmax函数，λ是采样混合插值因子，~ y表示线性混合的目标，K是已知类的数量，ζ加权应用于高度混合起来的样本的置信度损失量。Tempered Mixup是对传统的小型批次随机梯度下降法的直接扩展，并对深度神经网络模型进行交叉熵损失训练。

3.3 深度CNN特征空间对未知数的可视化

为了直观地说明Tempered Mixup在分离已知和未知样本方面的好处，我们训练了一个简单的CNN模型（LeNet++架构[14]），将MNIST数字分类为已知类，Extended MNIST Letters分类为未知类（以黑点覆盖）。该CNN架构有一个瓶颈的二维特征空间，以允许对所产生的嵌入进行可视化。

如图4所示，Tempered Mixup模型将未知类别的样本嵌入向原点折叠，从而减少与已知类别的重叠（和混淆）。这是对常见的监督训练方法的巨大改进，这些方法可以提高模型的稳健性，包括标签平滑[25]和中心损失[27]。Tempered Mixup甚至改善了用明确背景集训练的方法，如Entropic Open Set和Objectosphere[8]。

 结论

在本文中，我们开发了一种新的技术，用于改善深度CNN分类器的特征空间，使其对未知类别的样本具有更好的鲁棒性。我们将Mixup augmentation的概念与信心损失的新表述相结合，以训练CNN对训练集定义的输入分布以外的样本产生较少的信心预测。实验证明，这种表述与目前最先进的方法（包括带有背景类的置信度损失正则化）相比，表现得很好。在大规模的真实世界的分类环境中，如果没有适当的背景集，这种策略可能特别有用。