基于深度模型Out of Distribution(OOD)基础技术路线研究

最新推荐文章于 2024-09-28 16:23:43 发布

Aqrose_666

最新推荐文章于 2024-09-28 16:23:43 发布

阅读量6.1k

点赞数 14

文章标签：机器学习人工智能深度学习

本文链接：https://blog.csdn.net/Aqrose_666/article/details/124592372

版权

本文介绍了基于softmax的OOD检测方法，如MSP和ODIN，以及基于特征的OOD检测方法，如Mahalanobis和NuSA，还探讨了softmax和特征相结合的ViM方法，旨在解决深度学习模型在遇到未见过的数据时的挑战。

摘要由CSDN通过智能技术生成

在工业检测领域，将训练好的模型部署到实际场景时，常会碰到一个问题：如果输入的图片是一个新的类别，模型之前根本没见过，那么，无论模型的预测结果是什么，都必会是错误的。这种情况下，有两种选择：一种是将新出现的类别加入训练集，从新训练一个模型；另一种便是我们将要介绍的OOD检测方法。

问题定义和使用场景

定义：在分类任务中，给定测试图片 $x_{\text{test}}$ ，若模型在训练阶段模型见过或类似的图片，则能正确分类；但如果与训练集完全不相关，也会被强制判定为训练集类别中的一种，这种情况是不合理的。OOD算法希望能判断的分布状况是否与训练集一致，若一致，则称为in-distribution(ID)，否则称为out-of-distribution(OOD)。

使用场景举例：在MNIST上训练的一个分类模型，然后，输入一张“马”的图片，会被归类为数字0~9，这是错误的。此时，MNIST数据集就是in-distribution，相对于ID而言，“马”是out-of-distribution。

本文将为大家介绍五种OOD检测方法

1- 基于softmax的OOD检测方法

在分类网络中，对 $\text{logits}$ 进行 $\text{softmax}$ 运算，可以得到概率向量。而基于 $\text{softmax}$ 的OOD检测方法，就是利用了概率向量的特点，直接判定 $x_{\text{test}}$ 是ID样本还是OOD样本。本节介绍MSP和ODIN，两者都是OOD领域较为经典的方法。

1- 1 - MSP

MSP是Maximum Softmax Probability的缩写。在分类任务中，分类器的输出概率为 $P=(p_1, ⋯,p_C )=\text{softmax}(\text{logits})$ ，其中， $C$ 是预先设定的类别总数。给定 $x_{\text{test}}$ ，若标签 $y=i$ ，则 $p_i$ 很大，其余分量很小；而且，实验发现，若 $x_{\text{test}}$ 为OOD样本，那么 $P$ 的任意分量都很小，说明模型不确定 $x_{\text{test}}$ 的类别。如下图所示，使用MNIST数据集训练的模型进行推理，会发现“马”的概率向量的每个分量都很小，而在数字0~9的概率向量中，都有一个特别大的分量。