论文阅读 (105)：Out-of-distribution detection with deep nearest neighbors (2022 ICML)

1 概述

1.1 要点

题目：深度近邻分布外检测 (Out-of-distribution detection with deep nearest neighbors)

方法：本文探索了非参数近邻距离在OOD检测中的使用，其不需要任何分布假设，且取得了优异性能。图1展示了所提出KNN-OOD检测方法的示意。

图1：近邻OOD检测框架示意

1.2 代码

https://github.com/deeplearning-wisc/knn-ood

1.3 引用

@inproceedings{Sun:2022:2082720840,
author		=	{Sun, Yi You and Ming, Yi Fei and Zhu, Xiao Jin and Li, Yi Xuan},
title		=	{Out-of-distribution detection with deep nearest neighbors},
booktitle	=	{{ICML}},
pages		=	{20827--20840},
year		=	{2022},
url			=	{https://proceedings.mlr.press/v162/sun22d/sun22d.pdf}
}

2 深度近邻OOD检测

本节将描述基于近邻的OOD检测方法，其利用特征嵌入且假设测试OOD样本与ID数据的差异足够大。

令$\mathbf{z}=\varphi (\mathbf{x})/\Vert \varphi (\mathbf{x}){\Vert }_2$表示标准化的logits特征，其中$\varphi :\mathcal{X}\mapsto {\mathbb{R}}^m$是一个特征编码器。令${\mathbb{Z}}_n=({\mathbf{z}}_1,{\mathbf{z}}_2,\dots ,{\mathbf{z}}_n)$表示训练集的嵌入集合。在测试期间，导出测试样本${\mathbf{x}}^{\ast }$的${\mathbf{z}}^{\ast }$，并计算其到${\mathbf{z}}_i\in {\mathbb{Z}}_n$的欧式距离$\Vert {\mathbf{z}}_i-{\mathbf{z}}^{\ast }\Vert$。接下来按照距离的升序重排列${\mathbb{Z}}_n$，得到${\mathbb{Z}}_n^{\prime }=({\mathbf{z}}_{(1)},{\mathbf{z}}_{(2)},\dots ,{\mathbf{z}}_{(n)})$。用于OOD检测的决策函数给定为：
G ( z ∗ ; k ) = 1 { − r k ( z ∗ ) ≥ λ } , G(\mathbf{z}^*;k)=\mathbf{1}\{-r_k(\mathbf{z}^*)\geq\lambda\}, G(z∗;k)=1{−rk​(z∗)≥λ},其中$-r_k({\mathbf{z}}^{\ast })=\Vert {\mathbf{z}}^{\ast }-{\mathbf{z}}_{(k)}{\Vert }_2$，以及 1 { ⋅ } \mathbf{1}\{\cdot\} 1{⋅}是指示函数。