【分布外检测】《YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE》 ICLR‘20

最新推荐文章于 2025-06-07 22:46:44 发布

原创

最新推荐文章于 2025-06-07 22:46:44 发布

· 565 阅读

1 ·

版权

文章标签：

#机器学习 #深度学习 #神经网络

本文探讨了将分类器视为能量基模型（EBM），提出Joint Energy-based Model（JEM），结合生成和分类模型，用于提高分类精度和异常检测。通过优化对数似然和SGLD采样，JEM能够进行样本生成和异常检测，并展现出鲁棒性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://arxiv.org/pdf/1912.03263v3.pdf

常用的分类器模型都是在建模 $p_{\theta}(y \mid \mathbf{x})$ ，这篇文章从能量的视角解释分类模型，进而得到一个生成模型和分类模型的混合模型。该模型能够同时建模 $p_{\theta}(y \mid \mathbf{x})$ 和 $p_{\theta}(\mathbf{x})$ ，从而提高分类精度和样本生成质量。

这篇文章也被用作OOD检测的baseline。

Joint Energy-based Model（JEM）

先来overview一下模型结构：

一个神经网络分类模型输入到Softmax函数的值称之为 $f_{\theta}(x)$ ，传统的分类器模型用 $f_{\theta}(x)$ 输入到softmax函数中估计 $\mid \mathbf{x})$ ，这篇文章里同时还用 $f_{\theta}(x)$ 来估计 $\mathbf{x},y)$ 和 $p(\mathbf{x})$ 。

本文的方法

EBM

Energy-based model：
$p_{\theta}(\mathrm{x})=\frac{\exp \left(-E_{\theta}(\mathrm{x})\right)}{Z(\theta)} \tag{1}$
其中 $E_{\theta}(\mathrm{x}): \mathbb{R}^{D} \rightarrow \mathbb{R}$ 是能量函数， $Z(\theta)=\int_{\mathbf{x}} \exp \left(-E_{\theta}(\mathbf{x})\right)$