Anomaly/Out-Of-Distribution(OOD) Detection 的常见方法

概念

Anomaly Detection or Out-OF-Distribution Detection，异常检测，是从一堆样本中选出被错误分类或在测试集分布以外的样本。这一定义已经早早地出现在异常检测的经典文章，MSP，中。而异常检测作为一种思想已经被应用于很多不同的领域，如物体检测，语义分割，视频异常检测、语音识别等，而通用的异常检测本身近几年也在不断地出现新的方法。由于近几年算法的落地中逐步出现越来越多的泛化性问题，异常检测也被逐渐被人们所关注。我个人理解，异常检测是一种不同于深度学习数据驱动方法的算法思想，可以巧妙地解决实际应用中传统数据驱动方法所难以解决的问题，因此的确有非常大的研究价值。

MSP - Maximum Softmax Probabilities

A Baseline For Detecting Misclassified And Out-Of-Distribution Examples In Neural Networks - ICLR 2017

MSP是异常检测工作中具有里程碑意义的一篇文章，其做法与思想非常简单，就是用网络的Softmax层输出的最大概率（MSP）作为判断样本是否是OOD或Anomaly的依据。如果网络对某样本的分类无法得到明确的结论，会生成各分类类别概率相近的结果，因此对OOD样本，网络偏向于生成较小的MSP，而对于ID（In-distribution）样本，网络偏向于生成较大的MSP。这样一来，便可以用过MSP判断某样本是OOD还是ID。
虽然算法思想很简单，作者还是在文章中介绍了这种方法在不同Task上的效果。实验证明，MSP在很多使用Softmax分类器的任务中都具有很好的检测OOD的性能。

ODIN - Out-of-Distribution detector for Neural networks

Enhancing The Reliability of Out-Of-Distribution Image Detection In Neural Networks - ICLR 2018

不同于MSP采用Softmax的最大概率作为判断OOD的依据，ODIN的出发点在于对样本的热度缩放和增加小幅扰动可以将ID和OOD样本之间的softmax分类分布区分开。在ODIN中，热度缩放（Temperature Scaling）指的是对样本的进行softmax计算前，对样本属于每一类别的响应除以一个常量，该常量被称为热度缩放参数（Temperature Scaling Parameter）。

在上述公式中，T就是该热度缩放参数。此外，ODIN在softmax之前，对样本的响应增加小幅扰动，如下

公式中的$ϵ$就是扰动系数。

总的来说，ODIN是一种通过增加额外固定参数，导致模型针对ID和OOD生成不同结果，并基于此判断样本是ID还是OOD。

Mahalanobis

Gram matrices

Energy score

Generalized ODIN