Out-of-Distribution Detection with Reconstruction Error and Typicality-based Penalty

摘要

对于实现现实应用的安全可靠运行，进行分布之外（OOD）的检测任务至关重要。在高维度下基于似然性的检测失败被展示出来后，基于典型集的方法引起了人们的关注；然而，它们仍未达到令人满意的性能。我们首先提出了典型性方法的失败案例，然后提出了一种新的基于重构误差的方法，该方法采用了归一化流（NF）。我们进一步引入了基于典型性的惩罚，并将其纳入NF的重构误差中，我们提出了一种新的OOD检测方法，即惩罚重构误差（PRE）。由于PRE检测了偏离输入分布流形的测试输入，因此它有效地检测了对抗性示例以及OOD示例。我们通过使用自然图像数据集（CIFAR-10，TinyImageNet和ILSVRC2012）进行评估来展示我们的方法的有效性。

引言

最近的研究表明，深度神经网络（DNN）模型在测试时输入数据与训练数据显著不同[1, 2, 3, 4, 5, 6]或者被敌对构造[7, 8, 9]时，往往会以高置信度做出错误的预测。这种异常输入通常被称为分布之外（OOD）。我们将期望的数据（包括训练数据）所来自的分布称为分布内（In-Dist），将我们应该检测的意外数据所来自的分布称为OOD。我们处理OOD检测[1, 3, 10, 11]，试图区分测试时的输入是否来自In-Dist。

早些时候，[12]引入了基于似然性的方法：使用在训练数据上学习的密度估计模型，将低似然性的数据点检测为OOD。然而，最近使用深度生成模型（DGMs）的实验表明，基于似然性的方法在高维度上经常失败[10, 13]