论文速览 | CVPR 2023 | Decoupling MaxLogit for Out-of-Distribution Detection | 利用解耦最大对数值提高模型异常检测性能

论文速览 | CVPR 2023 | Decoupling MaxLogit for Out-of-Distribution Detection | 利用解耦最大对数值提高模型异常检测性能

异常检测是机器学习一个非常重要且富有挑战性的问题。最近的研究表明,标准的模型训练经常会产生过高的置信度,无论输入是训练集内数据还是异常数据。因此,检测异常数据的能力对模型的实际部署至关重要。本文提出了一个简单而有效的基于对数值的异常检测方法。

1 引言

在实际应用中,闭世界假设并不总是成立的。也就是说测试集中可能包含训练集中没有见过的类,这就是所谓的异常检测问题。当模型部署到开放世界环境中时,能够有效识别异常数据就非常关键了。然而,目前的模型很容易产生过高的置信度,即使对异常数据也一样。比如一个识别马的模型如果测试集中出现了斑马,很可能会产生高置信度地将斑马识别为马。

异常检测的关键在于定义一个合适的得分函数,以区分异常数据和训练集内数据。目前基于特征和基于对数值的方法是较为常用的策略。MaxLogit利用样本的最大对数值作为异常分数,是最简单的对数值方法之一。但是MaxLogit的表现并不如一些更复杂的方法。我们认为这可能与特征范数的损失有关。

2 动机

为了重新审视MaxLogit方法,我们将对数值分解为两个部分:余弦相似度和特征范数。实验证明仅用余弦相似度的MaxCosine表现明显优于MaxLogit;而仅用特征范数的MaxNorm表现则大大落后。

这说明MaxLogit存在以下问题:

1. 受MaxNorm的拖累
2. 抑制了MaxCosine的效果
3. 缺乏控制两者权衡的灵活性

为了解决这些问题,我们提出解耦最大对数值(DML)的方法。

3 方法

DML可以表示为:

$DML=\lambda MaxCosine+MaxNorm$

其中λ是控制两项权衡的超参数。这样就可以灵活地平衡MaxCosine和MaxNorm的作用。

尽管DML比MaxLogit效果更好,但MaxNorm的表现仍然较弱,限制了整体的提升空间。因此我们进一步研究了模型训练过程中较少难样本和特征空间紧凑性这两个因素如何提高基于对数值的方法的性能。主要发现包括:

1. 余弦分类器可以显著提高MaxCosine、MaxNorm和基于对数值的方法
2. 中心损失可以减小类内特征收敛性(WFC),这有利于MaxNorm
3. Focal损失可以减小特征与分类器收敛性(CFC),这有利于MaxCosine

基于这些发现,我们提出DML+方法,同时优化这两个模型以发挥各自的优势:

$DML+=MaxCosin{e}_{Focal}+MaxNor{m}_{Center}$

4 实验和结果

我们在CIFAR和ImageNet两个数据集上做了大量实验来全面评价我们的方法。

4.1 CIFAR数据集

在CIFAR数据集上,我们使用了6个不同领域的数据集作为异常数据,包括Textures、SVHN、LSUN-Crop/Resize、iSUN和Places365。主要定量结果如下:

- 在AUROC指标上,我们的DML+方法在所有6个异常数据集上都达到或者超过了当前最先进的方法。平均AUROC达到91.57%,比非入侵方法ViM的88.98%和需要改进训练的LogitNorm的85.73%都要高。

• 在FPR95指标上,我们的方法在SVHN、LSUN-R和iSUN这3个数据集上排名前三。在Textures数据集上ViM表现最好。`

此外,我们还观察到单独的MaxCosine分量和MaxNorm分量是互补的。这使得我们的DML方法可以在不同类型的异常数据上保持更好的稳定性和鲁棒性。

4.2 ImageNet数据集

在ImageNet更加复杂的图片数据集上,主要定量结果如下:

• 在4个异常数据集上,我们的方法能够取得第一名或者第二名的成绩。仅在Textures数据集上基于距离的方法表现略好。
• 平均AUROC达到93.16%,FPR95为29.79%,明显超过之前最好的非入侵方法。

4.3 模型分析

我们还做了大量模型分析实验,主要结论包括:

• DML对模型结构变化足够鲁棒,在DenseNet和ResNet34上效果同样出色
• DML+的两个分量MaxCosine和MaxNorm在异常检测效果上互为补充
• 我们所提出的模型训练策略能够显著提升多种已有得分函数的性能
  
  

具体来说,中心损失模型使得所有得分函数的AUROC都有9%以上的提升。这证明了我们的发现对现有方法同样有指导意义。

5 不足和未来展望

本文所提出的方法主要基于经验分析和结果验证,还缺少深入的理论支撑。此外,也没有系统地研究不同模型架构和任务的泛化能力。这些可以作为未来研究的方向。

我们也希望能够尝试其他类型的训练策略或者模型构建方式来进一步提高基于对数值和特征的异常检测性能。这可以促进这类简单、高效的方法在更多实际场景中得到应用。

另一方面,最近的研究表明封闭集性能和开放集性能存在密切关联。我们的方法在保持封闭集准确率的同时大幅提高了开放集效果。这也值得进一步理论化分析和推广。

6 总结

本文通过解耦和分析最大对数值,发现了余弦相似度和特征范数对异常检测性能的不同影响。基于此我们提出了DML和DML+方法,通过两者的结合和专门优化模型,实现了最先进的性能。这为基于对数值和特征的异常检测打开了新的视角,也为简单高效的检测方法在实践中发挥更大作用提供了契机。后续的研究可以从理论和实践两个层面做深入探讨,以产生更大的学术和应用影响力。