Out-of-distribution Detection系列专栏（七）

最新推荐文章于 2024-08-06 18:34:36 发布

DS..

最新推荐文章于 2024-08-06 18:34:36 发布

阅读量1.5k

点赞数 4

分类专栏： OOD Detection 文章标签：深度学习机器学习算法

本文链接：https://blog.csdn.net/qq_36478718/article/details/122484264

版权

OOD Detection 专栏收录该内容

10 篇文章 57 订阅

订阅专栏

前言

Improving reconstruction autoencoder out-of-distribution detection with mahalanobis distance

前言

本期专栏介绍的文章是一篇相对比较容易的方法，可以很方便的复现。在上一期中，我们介绍了一种在特征层基于马氏距离的判别器，这次我们要将的方法仍然是基于马氏距离来做的，作者使用了一个在Max-Softmax中提出来的经验：联合训练一个自编码器，该编码器在重构ID数据时，误差较小，而重构OOD数据时，会有比较大的误差。另外，OOD领域的相关文章题目实在是又长又直白，这就是所谓的谜底就在谜面上了估计。

Improving reconstruction autoencoder out-of-distribution detection with mahalanobis distance

论文链接：https://arxiv.org/pdf/1812.02765.pdf

在之前的文章中，有人用马氏距离做OOD检测，也有人用重构损失做OOD检测，都取得了不错的效果。在本篇文章中，作者联合使用马氏距离和自编码器的重构损失来构造置信度得分，取得了不错的效果。然而，文章中仅给出了在MNIST数据集上的结果，缺少一定的说服力。

Motivation

在之前的文章中提到过一种范式或者方法，就是在ID数据集上训练一个AutoEncoder，使得对ID数据的重构损失尽可能小。在实际使用时，由于AutoEncoder仅在ID数据上训练过，所以重构损失较小的图像更有可能是ID数据，而重构损失较大的数据则很可能是OOD数据。

然而，本文的作者发现，对于模式较为固定的数据集，例如MNIST和Fashion-MNIST等，这种经验是成立的，但是对于一些真实图像，ID数据的重构损失和OOD数据的重构损失有时差异并不那么明显，因此需要结合使用其他特征来增强OOD检测的鲁棒性。在文章中，作者联合使用了decoder的重构损失以及数据经encoder编码后在特征空间的马氏距离。

Approach

我们用 $E$ 和 $D$ 分别表示编码器encoder与解码器decoder。输入图像为 $x$ ，经过encoder编码之后，得到特征向量，或者叫做隐空间向量。这个特征向量经过decoder恢复之后，得到重构图像 $\hat{x}$ ，在训练的时候，我们最小化输入图像 $x$ 与重构图像 $\hat{x}$ 之间的像素值差异。在上面的叙述中，隐空间向量 $v$ 可以表示为：

$v=E(x)$

经过decoder重构的图像可以表示为：

$\hat{x}=D(v)=D(E(x))$

训练好自编码器之后，对于一个输入样本，我们可以获得的有重构损失以及隐空间向量，重构损失表示如下：

$l(x,D(E(x)))$

为了增加鲁棒性，作者在隐空间计算了马氏距离，计算马氏距离需要先获得所有训练样本的特征均值 $\hat{\mu}$ 与协方差矩阵 $\hat{\Sigma}$ ，根据这些中间量，可以得到特征向量 $v$ 在隐空间到ID数据分布的马氏距离：

$D_M(v)=\sqrt{(v-\hat{\mu})^T\hat{\Sigma}^{-1}(x-\hat{\mu})}$

利用马氏距离和重构损失，可以得到数据来自OOD的置信度：

$\textup{novelty}(x)=\alpha\cdot D_M(E(x))+\beta\cdot l(x.D(E(x)))$

上述的novelty数值越大，说明数据越有可能来自于OOD数据分布。取novelty的相反数可以与真实标签计算AUROC以及AUPR等指标。

Experiments

首先，作者展示了，OOD数据到ID数据分布的马氏距离以及自身的重构误差都是较大的，在下图左侧可以看出，也就是蓝色点，无论是重构损失还是到训练数据隐空间分布的马氏距离都是大于绿色点，也就是ID数据点的，这证明了作者使用马氏距离和重构损失结合的方法是有统计规律支撑的。

上图中的右侧展示了联合使用马氏距离和重构损失要好于单独使用两者中的任何一个。最后，作者给出了使用MNIST中某一类作为ID，另一类作为OOD的评测结果：

从上面的表格中可以看出，使用Hybrid要好于单独使用Reconstruction Err。虽然上面的指标都不错，但是实验内容较小，没有在其他数据集做进一步验证。

Discussion

这里我们需要指出基于AutoEncoder方法的一个瓶颈：那就是不适用于大尺寸数据。对于自然场景图像，例如ImageNet，数据的尺寸是比较大的，场景是比较复杂的，这时候训练自编码器是比较困难的一件事，并且，重构损失也显得不那么具有倾向性。另外，当特征维度很高时，计算马氏距离将会面临维度灾难(Curse of Dimensionality)的问题。因此，有时候，看似简单的方法，其实在实现的时候要考虑的问题往往是更多的。