CVPR20 (AD) - Uninformed Students: Student–Teacher Anomaly Detection

原文地址

https://openaccess.thecvf.com/content_CVPR_2020/papers/Bergmann_Uninformed_Students_Student-Teacher_Anomaly_Detection_With_Discriminative_Latent_Embeddings_CVPR_2020_paper.pdf

论文阅读方法

三遍论文法

初识

本文提出了一个名为“Student-Teacher Anomaly Detection”的新框架，利用discriminative Embedding：首先Teacher网络(T)在大量自然图像(ImageNet)中进行预训练，Student网络(S)在无缺陷数据集上进行训练(以Teacher网络的输出作为监督)，比较S与T输出间的不同来判断该区域是否存在缺陷。

其中可以设置多个S，并且构造多尺度等方法构造ensemble。

相知

只谈关键技术

Teacher网络与Student网络具有相同架构，并且输入都是大小相等的图像块Patch，每个Patch在原图有着固定的感受野，利用Fast Dense Local Feature Extraction通过确定性转换应用于整幅图像(相比于将图片划分为一个个Patch来分别进行预测的方法，提升了速度，在后面的测试中也需要一次前向传播即可进行异常区域分割)

训练Teacher Network：

​ T完全基于自然图像进行预训练，并且训练后不再更新参数，T输出D维的特征，该特征具有强语义性(semantically strong descriptors)。

① Knowledge distillation：从预训练网络P汲取知识，增加一个全连接层，使T的输出维度与P一致，优化它们的L2 loss。

​② Metric Learning：当预训练网络不好获取时，使用自监督学习的方式学习局部描述符。

​ 主要使用三元学习来获取discriminative embedding，构造三元组(p,p⁺,p^-)，优化以下目标：

③ Descriptor Compactness：通过最小化一个batch内的描述符相似度来增加紧凑度(compactness)同时减少不必要的冗余，c_i,j表示相关矩阵的项：

​最后总的Loss为：

主要利用knowledge distillation和Descriptor Compactness两个技术

训练Student Network：

​ ① 利用T提取计算训练集中所有描述符的均值与标准差，用于数据标准化(作用于T的输出)

​ ② 构建M个S网络，每个S都为输入图像I输出特征描述符

具有限制感受野(大小为p)的网络S可以在一次前向传播过程中为I中每个像素点生成密集预测，而不需要切分为多个块P(r,c)

​ ③ 将S的输出建模为高斯分布，优化以下目标，其中S_i表示对像素点(i,j)的预测，y^T为T对应Patch的输出，计算L2距离：

测试：

​ 将M个S都训练到收敛，构建混合高斯分布，平等加权每个S的输出。使用两种方法衡量一个像素点是否异常：

​ ① 回归误差 regression error (S与T之间的L2距离)

② 预测不确定性 predictive uncertainty (S中的标准差)

结合①②，最后的异常分数为：

多尺度异常分割：

​ 由于网络架构中的感受野大小一定，如果感受野过大而异常区域过小，那么提取出来的特征基本为正常，无法对异常区域进行分割。因此，构建多个不同感受野的Student-Teacher网络对，将输出进行融合后作为最终的检测结果。

回顾

这篇文章的作者团队就是CVPR19提出Mvtec AD这个数据集的那批人，文章的脉络很清楚。最主要的创新在于将Student-Teacher架构引入异常检测领域，此外，也将迁移学习中的Metric Learning和Knowledge Distillation应用了进来，思想很新颖。

文章提出了一个新的指标来做实验，所以缺乏与其他工作的对比，不过谁让人家是顶会呢，最后这个指标也难免要被大家follow。其次的话，就是分块以及输入图像多尺度做法还是显得比较笨重，可以进一步优化。