无监督学习 论文

一、Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings

2020CVPR，基于MVTec

       论文设计了一个师生框架，通过训练学生网络，回归到描述教师网络的输出。当学生网络的输出和教师网络的输出不同时，会检测到异常。 学生网络中的内在不确定性被用作指示异常的附加评分函数。

        基于无监督的像素分割在自动化工业检测场景中十分重要，通常需要仅在一类无异常图像上训练模型来推理分割缺陷区域。

         现阶段的任务重心在生成算法上，例如GAN网络、变分自动编码器（VAE），他们使用每个像素重建误差或通过评估从模型的概率分布中获得的密度来检测异常。

       有监督学习的算法性能通过迁移学习得到改善，通过使用来自预训练网络的判别嵌入。但无监督异常检测尚未涉及到此方法。

        文章使用师生方法对训练特征的分布进行隐式建模规避浅层模型的限制，利用神经网络的高容量和帧异常检测作为特征回归问题。在教师的大型数据集上预训练的描述性特征提取器，在无异常训练数据上训练一组学生网络来模仿教师的输出，通过结合学生的预测不确定性与对教师的回归误差结合，为每个输入像素产生异常分数。

图为异常检测过程示意图：

        输入图像通过教师网络提供，该网络密集地提取局部图像区域的特征。训练一组 M 个学生网络，以将教师的输出回归到无异常数据上。在推理过程中，学生将在感受野覆盖异常区域的像素中产生增加的回归误差 e 和预测不确定性 v。可以组合使用不同感受野生成的异常图以进行多尺度的异常分割。

        文章利用预训练网络的特征向量作为训练学生网络集合的替代标签，再将预测方差与集成输出混合分布的回归误差一起用作评分函数来分割测试图像中的异常区域。

师生网络异常检测

        给定一个全为无异常图像的训练数据集D，创建一个学生网络Si的集合，检测图像J中的异常，为每个像素分配一个分数，表示它与训练数据的偏差程度。学生模型针对从在大型图像数据集上与训练的教师网络T获得的回归目标进行训练。训练后，从学生的回归误差和预测方差中得到每个像素的异常分数。