【异常检测】论文阅读：CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

参考文章：
SimCLR框架解析

主题：基于对比学习模型SimCLR在开放集检测上进行应用

SimCLR损失函数:

• B : 给定的batch中的图片, B : = { x i } i = 1 B B :=\{x_i\}^B_{i=1} B:={xi​}i=1B​，论文实现中，Batchsize = 8192
• T：图片的变化形式
• $B_{-i}$: 表示除了第i个样本之外的其他样本构成的集合。

1. CSI损失函数

1.1 Contrasting shifted instances

对比学习会把图像的不同转换形式transform（旋转、偏移、放大、灰度等等）作为原始图像的正样本（positive samples），但是有的transform形式（如旋转）会让SimCLR的性能下降，可是如果把这种转换形式作为负样本（negative）应用在OOD领域，那么性能又会增加，因此作者在本文中主要讨论哪些transform形式可以提高OOD中的性能。

作者把要探索的可以提高OOD中的性能的transform形式称为为transform家族$S$
S = { S 0 = I , S 1 , S 2 , … … ， S n } , S = \{S_0=I,S_1,S_2,……，S_n\}, S={S0​=I,S1​,S2​,……，Sn​}, 其中$I$代表的是恒等变换，即输入图像保持不变。

作者将增强技术集合S定义为包括恒等变换在内的K个不同变换。恒等变换I在这里起到了特殊的作用，即将原始样本视为内部分布$(S_0=I)$，与其他非恒等变换的样本（即分布偏移样本 S ∈ { S 1 , S 2 , … … ， S n } S∈\{S_1,S_2,……，S_n\} S∈{S1​,S2​,……，Sn​}）进行区分。

contrasting shifted instances (con-SI) loss

1.2 Classifying shifted instances

目的：预测出最有利于生成OOD的transform形式，通过选择合适的转换方式来生成接近但不完全相似的离群数据（OOD）样本——最像“离群数据（OOD）”但又具有语义意义的样本。

引入了一个辅助任务。该辅助任务的目标是预测对于给定的输入x，应用了哪个偏移转换操作$y^S\in S$，以帮助模型$f_{\theta }$区分每个偏移实例。

为了实现这一目标，作者在模型fθ中添加了一个线性层，用于建模辅助任务的softmax分类器$p_{cls-SI}(y^S|x)$。

为了训练这个辅助任务，作者定义了一个称为"classifying shifted instances"（cls-SI）的损失函数。该损失函数计算了辅助分类器在通过SimCLR对原始样本集$B_S$进行增强后得到的批量样本集合$B_S^{\prime }$上的损失。

1.3 CSI损失函数

两个部分的损失函数相加，λ > 0 is a balancing hyper-parameter. We simply set λ = 1 for all our experiments.

$L_{CSI}=L_{con-SI}+\lambda \cdot L_{cls-SI}$

2 检测离群数据的score function