​ICML 2023 | Unleashing Mask: 挖掘模型的分布外检测能力

©PaperWeekly 原创 · 作者 | Jianing Zhu，Hengzhuang Li

单位 | HKBU TMLR Group

分布外检测（Out-of-Distribution detection）是在开放世界场景（Open-world senarios）下部署可靠机器学习模型的重要任务 [1]。由于现实中待推断样本并不一定来自与训练数据相同的标签分布，使得机器学习模型意识到此类分布外样本（OOD data）对于例如自动驾驶或医疗智能等安全性需求较高的领域十分重要。

给定在原有任务下训练好的模型，之前的研究工作主要探索：1）设计不同的评分函数（score functions）进行模型不确定性估计 [1,2]；2）利用辅助异常值（auxiliary outliers）对模型进行微调 [2,3]，来获取及提升模型分辨分布外样本的能力。

考虑到分布外检测与原始任务间存在一定的任务目标差异（例如，考虑基础的分布内数据（Indistribution data, ID data）分类目标与识别分布外样本的目标）[4,5]，而现有的研究设定往往将一个训练完善的模型作为分布外检测的基础，这种任务目标差异自然地引出以下启发我们工作重要的研究问题：原有任务中训练完善的模型是否拥有最优的分布外样本分辨能力？ 如果不是，那如果找到一个对分布外检测更合适的模型基础？

沿着以上的研究问题，在本工作中我们发现：

• 在获取更优的分布外分辨能力和更好的分布内样本分类表现间存在不一致性，显式地表现为训练过程中存在对分布外检测更优的模型基础；

• 除了辅助分布外样本（auxiliary outliers）之外，原始任务的分布内样本（ID data）对模型分布外检测能力也很重要；

• 训练完善的模型中可以剪枝得到拥有更少的参数量的子模型却有更好的分布外检测性能；

• 数据层面分布内数据（ID data）中存在非典型样本带有一定的噪声。

接下来将简要地向大家分享我们近期发表在 ICML 2023 上的分布外检测方向的研究结果。

论文标题：

Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability

论文链接：

https://arxiv.org/abs/2306.03715

代码链接：

https://github.com/ZFancy/Unleashing-Mask

模型任务目标差异

有别于通常的多任务目标，为一个在原有任务下预训练的模型赋予分辨分布外样本的能力是一种更为实际且更常被考虑的研究设定。而考虑到原始任务（在本文中我们考虑分布内数据的分类任务）与分布外检测的目标差异，自然而然地会想到追寻两者目标的同时是否会在同一个状态下达到最优，这促使我们进行了以下实验探索。

1.1 更好的ID分类性能一定代表更好的OOD分辨能力吗？

在本研究工作中ÿ