读论文：Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings

目前实际的异常检测遇到的一个很大的困难，是在实际的场景中（例如工业流水线等），异常样本往往很难获得，甚至很多时候没有异常样本。这就迫使我们采用semi-supervised或者unsupervised的方法。接下来介绍的文章也都是semi-supervised或者unsupervised的方法。所以现在的异常检测主要通过： generative algorithms such as Generative Adversarial Networks (GANs) or Variational Autoencoders (VAEs， 变分自动编码器 )的方法。
这篇论文没有提供代码，但是有人浮现了这篇论文：
https://github.com/taikiinoue45/STAD

图1 训练过程

这里的teacher网络和student网络结构是一致的，但是teacher网络用的是带有预训练模型的，而student网络没有。训练数据都是正常数据，teacher网络是锁死的，但student网络需要更新，目的是让student网络具有和teacher网络一样的推理能力。

图2 推理过程
把图像分成块，分别输入teacher和student网络，计算loss，判断是否为异常。
这篇文章基于两个假设：

• 在仅包含正常样本的数据集上，让pretrained的teacher模型去教没有pretrain的student模型，使得teacher模型和student模型输出的embedding尽可能一致。那么在inference时，由于teacher只教过student如何embed正常样本，所以正常样本上teacher模型和student模型输出的embedding会比较相似，但异常样本上两者输出的embedding差异会比较大；
  2.如果在1中的训练过程中，采用多个随即初始化的students模型和一个pretrained teacher模型，那么在正常样本上students之间的embedding比较一致，而在异常样本上，由于students是随机初始化的，且teacher并没有在异常样本上教过他们，所以在students之间embedding差异也会比较大。

利用这两个假设，在推理时，如果在某个样本上，teacher和students的embedding差异比较大，且students的embeddings之间差异也比较大，那么就说明该样本为异常样本。
此外，为了定位异常的位置，而不是仅仅判断某张图片是否为异常，teacher和students的输入是图片的patch，而不是整张图像。这样，当在某个patch上teacher和students表现差异很大，或者students之间表现差异很大时，就可以认为这个patch为异常，从而定位到了异常的区域。

如何计算异常分数：