ODIN是一种用于增强神经网络区分ID（已知分布）和OOD（未知分布）样本能力的方法。通过温度缩放和输入预处理，使ID和OOD样本的softmax概率分布差异增大，从而提高检测效果。温度缩放利用高温度参数使softmax分数更集中，而输入预处理则模仿对抗样本，但朝着正确类别方向进行微调，强化ID样本的分类信心。尽管这种方法可能使未扰动的ID测试样本显得偏离分布，但整体上增强了模型的检测性能。
《Enhancing the reliability of out-of-distribution image detection in neural networks.》 ICLR’18
OOD经典baseline。
ODIN 的想法很简单，既然模型对ID 和 OOD 样本输出的 softmax 预测概率分布不同，那么可不可以让它们分布差异变得更大呢？这样便可以更容易的检测 OOD 样本。本文提出两种方法辅助：Temperature scaling和Input Preprocessing：
相比于 baseline, 使用 Temperature scaling 和 Input Preprocessing 能有效地使得 ID 和 OOD 样本 softmax 分布概率差异变大。
Temperature Scaling
p i ( x ; T ) = exp ( f i ( x ) / T ) ∑ j = 1 N exp ( f j ( x ) / T ) p_{i}(\boldsymbol{x} ; T)=\frac{\exp \left(f_{i}(\boldsymbol{x}) / T\right)}{\sum_{j=1}^{N} \exp \left(f_{j}(\boldsymbol{x}) / T\right)} pi(x;
最低0.47元/天 解锁文章
扫一扫
2895
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
