【分布外检测】《Energy-based Out-of-distribution Detection》 NIPS‘20

最新推荐文章于 2025-03-19 14:15:01 发布

chad_lee

最新推荐文章于 2025-03-19 14:15:01 发布

阅读量4.6k

点赞数 6

分类专栏：论文解读分布外检测异常检测文章标签：机器学习深度学习 python

本文链接：https://blog.csdn.net/yanguang1470/article/details/122624493

版权

《Energy-based Out-of-distribution Detection》NIPS'20论文介绍了如何利用能量模型代替softmax函数来识别异常样本，特别是在深度学习和机器学习中。通过对模型进行特定的正则化项调整，可以提高OOD检测的准确性，同时保持对内分布数据的良好性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Energy-based Out-of-distribution Detection》 NIPS’20

不改变模型结构，在任意模型上用能量函数替代softmax函数，识别输入数据是否为异常样本。还提出一个基于能量的正则化项，用来针对性fine-tuning模型。

解决什么问题

当模型遇到和训练数据差别很大的数据时，就会出现out-of-distribution （OOD）uncertainty，这个时候模型表现很差。识别出这些OOD数据很重要，比如对抗样本、异常检测。

传统的OOD检测方法是基于softmax confidence，即对于ID数据，模型会给一个高可信度的结果，对于可信度低的就是OOD样本。但是也可能会给OOD样本高可信度（比如对抗样本）。

这篇文章提出一个energy function来替换softmax函数识别OOD，ID样本能量低，OOD样本能量高。

什么是能量模型（EBM）

能量模型最早由LeCun在2006年提出，本质构建一个能连函数 $\mathbb{R}^{D} \rightarrow \mathbb{R}$ ，将输入空间的每个样本 $x$ 映射到一个表示能量的非概率标量上。然后通过Gibbs分布可以将能量转化为概率密度：
$\mid \mathbf{x})=\frac{e^{-E(\mathbf{x}, y) / T}}{\int_{y^{\prime}} e^{-E\left(\mathbf{x}, y^{\prime}\right) / T}}=\frac{e^{-E(\mathbf{x}, y) / T}}{e^{-E(\mathbf{x}) / T}} \tag{1}$
其中分母被称为配分函数， $T$ 是温度参数。此时对于任意样本的能量 $E (x)$ 为：
$E(\mathbf{x})=-T \cdot \log \int_{y^{\prime}} e^{-E\left(\mathbf{x}, y^{\prime}\right) / T} \tag{2}$
对于一个 $K$ 类的神经网络分类器 $\mathbb{R}^{D} \rightarrow \mathbb{R}^{K}$ 将输入映射到 $K$ 个对数值，通过softmax得到当前样本属于某一类的概率：
$\mid x)=\frac{e^{f_{y}(x) / T}}{\sum_{i=1}^{K} e^{f_{i}(x) / T}} \tag{3}$

最低0.47元/天解锁文章