Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks解读

[40]Liang S, Li Y, Srikant R. Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks[C]//International Conference on Learning Representations. 2018.

1.摘要

1.1问题：我们考虑了在神经网络中检测分布外图像的问题。

1.2方法：我们提出了ODIN，这是一种简单有效的方法，不需要对预先训练的神经网络进行任何改变。

1.3动机：我们的方法是基于这样的观察：使用温度缩放和向输入添加小的扰动可以分离分布内和分布外图像之间的softmax分数分布，从而实现更有效的检测。

1.4结果：我们在一系列的实验中表明，ODIN与不同的网络结构和数据集兼容。它始终比基线方法（Hendrycks & Gimpel, 2017）有很大的优势，在这个任务上建立了一个新的最先进的性能。例如，ODIN在DenseNet（应用于CIFAR-10和Tiny-ImageNet）上的假阳性率从基线的34.7%降低到4.3%，而真实阳性率为95%。

2.引言

​2.1背景与现存问题：

1. 众所周知，当训练和测试数据从相同的分布中取样时，现代神经网络具有良好的泛化能力（Krizhevsky等人，2012；Simonyan和Zisserman，2015；He等人，2016；Cho等人，2014；张等人，2017）。然而，在现实世界的应用中部署神经网络时，对测试数据分布的控制往往非常少。最近的工作表明，即使对于完全无法识别的（Nguyen等人，2015）或不相关的输入，神经网络也倾向于做出高置信度的预测（Hendrycks & Gimpel，2017；Szegedy等人，2014；Moosavi-Dezfooli等人，2017）。
2. 有资料显示（Amodei等人，2016），当显示新种类的输入，即分布外的例子时，分类器意识到不确定性是很重要的。因此，能够准确地检测出分布外的例子对于视觉识别任务是非常重要的（Krizhevsky等人，2012；Farabet等人，2013；Ji等人，2013）。