《Uninformed Students: Student–Teacher Anomaly Detectionwith Discriminative Latent Embeddings》论文阅读笔记

作者：Paul Bergmann

出自：CVPR2020

本论文引入了一个强大的学生-教师框架。训练学生网络已回归描述性教师网络的输出，所述描述性教师网络是在来自自然图像的块的大数据集上预训练的。

 本文建议通过用学生-教师方法隐式地建模训练特征的分布来绕过潜模型的这些限制。这充分利用了深度神经网络的高容量，并将异常检测框架定义为特征回归问题。给定一个在来自自然图像的补丁的大数据集上预训练的描述性特征提取器（教师），我们在无异常训练学生网络的集合数据来模仿老师的输出。

本文的主要贡献是：

1，提出了一种基于师生学习的无监督异常检测框架。来自预先训练的教师网络的局部描述符作为学生集合的替代标签。我们的模型可以在大型未标记图像数据集上进行端到端的训练，并利用所有的可用训练数据。引入基于学生预测方差和回归误差的评分函数，得到稠密的异常图，用于自然图像中的异常区域的分割。

2，我们描述了如何通过调整学生和教师的感受域来扩展我们的方法以在多个尺度上分割异常。

3，我们在单个真实世界的视觉数据集上展示了最先进的性能。我们将我们的方法域一些直接拟合教师特征分布的浅层机器学习分类器和深层生成模型进行了比较。我们还将其与最近推出的基于深度学习的无监督异常分割进行了比较。

 

本文的整体思路：

        给定训练数据集D={I1，I2，I3..........IN}，创建一个学生网络Si的集合，在以后的检测测试图像J中的异常。从自然图像的大数据集上预训练的描述性教师网络T获得的回归目标来训练学生模型。在训练之后，可以从学生的回归误差和预测方差导出每个图像像素的异常分数。给定一幅输入图像I∈RWXHXd.它包含针对行r和列c处的每个学生Si输出一个特征映射Si(I)∈RWXHXd。

        通过设计我们限制了学生的感受域，使得y(r,c)描述I的以边长为p的（r,c）为中心的放行局部图像区域p(r，c)。教师T具有与学生网络相同的网络架构。然而，它保持恒定，并且提取输入图像I的每个像素的描述性嵌入向量，所述描述性嵌入向量在学生训练期间用作确定性回归目标。

学习局部补丁描述符：

        度量学习+知识提炼技术构造描述性教师网络T。教师网路T有效地输入图像内边长为p的每个可能正方形的描述符。T使用卷积层和最大池化层将板块大小的图像P嵌入到维度为d的度量空间中来获得的 。快速密集局部特征提取，可以通过从任何图像数据库中随机裁剪来获得大量的训练片p。这里，我们使用ImageNet [18]。

        我们通过将P的输出与从T获得的描述付费的解码版本进行匹配，将强大的预训练网络P的知识提取到T中：

 三元组之间的相关关系用欧氏距离来表示。

度量学习：对于每个随机裁剪的面片p,增加一个面片三元组（p,p+,p-）。通过围绕p的小的随机平移、图像亮度的改变以及高斯噪声的添加来获得正补丁p+ 。负面片p-是从随机选择的不同的图像中随机裁剪而成的。

 

 

 

 最终的损失函数为：

         对于输入图像I，每个学生针对以行r和列c为中心的每个局部图像区域p（r，c）输出其在可能回归目标的空间上的预测分布。注意，学生的结构具有大小为p的有限感受野，这允许我们仅通过单次前向传递就可以获得每个图像像素的密集预测，而不必实际裁剪面片p（r，c）。

 

 

 

 

 

 接受域p 可以是65 、17和33