【文献阅读】CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

课题文献调研

CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

在上一篇SSD的阅读中提出，在OOD检测中，他的表现不如这篇文章（仅仅是ood检测，别的下游任务的表现还是很棒的），基于自己的工业数据，baseline仅达到了auroc78，所以还需要继续深入探讨如何优化模型

---

摘要

（1）提出了一个简单有效的方法：contrasting shifted instances(CSI)

（2）除了将给定的样本和其他实例对比之外，还与自身的分布位移作对比

（3）基于这样的训练方案，提出了新的检测分数

Introduction

研究了以下两个问题：

（1）怎样学习到OOD数据的discriminative representation

（2）怎样设计一个评分函数

这和标准的表示学习有区别，即我们的任务是区别OOD数据和ID数据，而表示学习的目的是区别in-distribution samples

点子：

可以通过"hard" augmentations 例如rotation 来提升模型的表现（rotation对于对比学习来说是harmful and unused）
目前的对比学习方案将所有增强的数据拉近到原始的数据，我们提出的方案增加的想法是：将通过“hard or distribution-shifting augmentations”远离原始样本

对比学习基础上的两个新贡献：

（1）新的训练方法：除了将给定样本和其他实例对比外，还和自己的distribution-shifting augmentations进行对比

（2）分数函数，使之融合了对比学习方法和（1）中的方法

研究表明它在保持分类精度的同时，缓解了分类器在预测分布内和分布外样本时的过度自信问题。

CSI在hard(或接近ID分布)的OOD样本中给出了较大的改进*（本人的OOD数据都是很接近真实样本的数据）*

CSI: Contrasting shifted instances

2.1 Contrastive learning

见SimCRL损失函数

2.2 Contrastive learning for distribution-shifting transformations

Chen等人对在SimCLR中使用哪个增广T族导致更好的表示进行了广泛的研究，即，哪些变换应该被认为是阳性的。总的来说，作者报告了一些增强(如旋转)，有时会降低SimCLR的鉴别性能。我们的一项重要发现是，可以这种增强视为来自原始样本的“negative”。
在本文中，我们研究了一系列的增强（可以称这种变化为“distribution-shifting transformations”）将其视为negative 应用在SimCLR中用于异常检测。

（1）contrasting shifted instances

S= S 0 , S 1 , . . . , S K − 1 {S_0,S_1,...,S_{K-1}} S0​,S1​,...,S