READ: Aggregating Reconstruction Error into Out-of-Distribution Detection（论文解析）

摘要

检测非分布（OOD）样本对于在真实世界中安全应用分类器至关重要。然而，已知深度神经网络对于异常数据存在过度自信的问题。现有方法直接通过挖掘分类器在分布内（ID）和OOD之间的不一致性来设计得分函数。在本文中，我们利用重构误差进一步补充了这种不一致性，基于以下假设：在ID数据上训练的自编码器无法像在ID数据上一样重建OOD数据。我们提出了一种新颖的方法，READ（重建误差聚合检测器），来统一分类器和自编码器的不一致性。具体而言，原始像素的重建误差被转化为分类器的潜在空间。我们展示了转化后的重建误差填补了语义差距，并继承了原始的检测性能。此外，我们提出了一种根据OOD数据的细粒度特征进行自编码器过度自信问题的调整策略。在预训练和重新训练的两种情况下，我们分别提出了两种方法的变体，即基于预训练分类器的READ-MD（马哈拉诺比斯距离）和重新训练分类器的READ-ED（欧几里得距离）。我们的方法不需要访问测试时的OOD数据以微调超参数。最后，通过与最先进的OOD检测算法进行广泛比较，我们证明了所提方法的有效性。在经过CIFAR-10预训练的WideResNet上，我们的方法将平均FPR@95TPR相对于之前的最先进方法降低了高达9.8%。

1 介绍

深度神经网络（DNNs）在图像分类任务中取得了很高的准确性（Zagoruyko 和 Komodakis 2016）。然而，分类器通常会对属于与训练数据的内部分布（ID）不同的数据提供过于自信的预测，从而导致失败。因此，在安全关键应用中，例如自动驾驶和医学诊断，需要检测那些属于外部分布（OOD）的样本，以确保分类器的部署安全性。

为了检测OOD样本，基线方法（Hendrycks和Gimpel 2016）利用了预训练的softmax分类器的后验分布中的最大值。他们发现ID数据的预测概率通常高于OOD数据。通过温度缩放和输入扰动，ODIN（Liang、Li和Srikant 2017）改进了基线方法。然而，已经观察到softmax分类器可以为远离训练数据的输入产生高置信度的预测（Hendrycks和Gimpel 2016；Nguyen、Yosinski和Clune 2015）。其原因在于softmax分类器可能具有标签过度拟合的输出空间（Lee等 2018；Liu等 2020）。Maha（Lee等 2018）并不使用softmax输出来进行OOD检测，而是假设测试数据的预训练特征可以很好地适应类条件高斯分布，并使用相对于特征空间中最接近的类条件分布的马哈拉诺比距离来定义置信度分数。从置信度的概率分解角度看，G-ODIN（Hsu等 2020）为分类器使用了被除数/除数结构。然后，使用分类器的倒数第二层输出计算输入到最接近类别的距离，以检测OOD样本。

上述方法基于这样的观察：OOD数据应该与ID类别相对较远。在本文中，我们进一步补充了潜在空间中到最接近类别的距离的差异。基于这样的假设：与训练数据相同分布的测试数据可以比其他分布更好地重建，我们提出了一种重建误差聚合检测器（READ）。通过自动编码器提取的表示被强制包含ID数据的重要规律。然而，由于不规则的模式，OOD输入无法从生成的表示中得到良好的重建。我们的高级思想是从分类器和自动编码器中挖掘ID和OOD的差异。为了统一这两种差异，即到最接近类别的距离和重建误差，我们将原始像素重建误差转换为分类器的潜在空间。总体而言，与原始像素相比，转换后的重建误差在OOD检测性能上表现出竞争力。基于相同的重建误差假设，Gong等人（Gong等 2019）和Zhang等人（Zhang等 2021）将内存模块合并到自动编码器中，并直接使用原始像素重建误差来检测OOD样本。然而，他们发现这一假设并不总是成立，自动编码器可以通过低重建误差良好地重建特定的OOD数据。类似的过于自信的现象在流式深度生成模型中也有报道（Choi、Jang和Alemi 2018；Nalisnick等 2018）。对于转换后的重建误差，我们观察到相同的过于自信问题。为了缓解这个问题，我们进一步提出了一种基于OOD的细粒度表征（Hsu等人 2020）。然后，