【论文】Skip-GANomaly: Skip Connected and Adversarially Trained Encoder-Decoder Anomaly Detection

这篇是基于GANomaly的改进。文章的代码暂时没有公布。

Akçay S, Atapour-Abarghouei A, Breckon T P. Skip-GANomaly: Skip Connected and Adversarially Trained Encoder-Decoder Anomaly Detection[J]. arXiv preprint arXiv:1901.08954, 2019.

---

关于GANomaly
Akcay S, Atapour-Abarghouei A, Breckon T P. GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training[J]. 2018.
paper：https://www.researchgate.net/publication/325215718_GANomaly_Semi-Supervised_Anomaly_Detection_via_Adversarial_Training
code：https://github.com/samet-akcay/ganomaly

1、motivation

1、解决GANomaly的梯度弥散问题
2、在图像和潜在空间中找到正常数据的唯一表示，并和异常进行区分

2、model

整体架构：只训练正常的数据，在测试时用正常和异常混合的数据

GANomaly的模型，主要比较潜在向量的差异。对于正常的数据，编码解码再编码得到的潜在空间和第一次编码得到的潜在空间差距不会特别大。但是，在正常样本训练下的 AE 用作从未见过的异常样本编码解码时，再经历两次编码过程下往往潜在空间差距是大的。

Skip-GANomaly模型

经过两个模型的对比，我们可以看到Skip-GANomaly去掉了将生成图像再编码，在generator中加入了skip connection。

2.1 skip connection

在普通的Encoder-Decoder网络中，将输入源和输出源直接连接，用来进行残差计算

在没有skip connection时，我们在反向传递中得到的梯度为[0.0001, 0.01]。随着网络层数的增加，会导致梯度弥散问题，如果有了跳跃式传递，就可以在backpro中更好的将梯度传到更浅的层次中。
有了skip connection，我们得到的梯度为[1, 0.0001, 0.01]

2.2 判别器 D

GANomaly中，判别器 D，对于原始图像 x 判为真，重构图像 $\hat{x}$ 判为假。
而改进的方法中，判别器做了feature extraction的工作。

2.3 loss fuction

loss function由三部分组成。

1、Adversarial Loss：直接使用GAN的loss

Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// International Conference on Neural Information Processing Systems. 2014.

确保网络G尽可能逼真（realistic）地重建正常图像，而鉴别器网络D分类真实和（假）生成的样本。

2、Contextual Loss

这种标准化确保模型能够生成与正常样本类似的上下文（contextually）图像。

3、Latent Loss

创新点：This is to ensure that the network is capable of producing contextually sound latent representations for common examples.

3、异常得分

原始的GANomaly的异常得分是图像编码的潜在空间下进行对比

Skip-GANomaly
直接使用了17年论文的方式

Schlegl T , Seeböck, Philipp, Waldstein S M , et al. Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery[J]. 2017.

$R(\dot{x})$ 代表了 reconstruction score，即$L_{con}$，$L(\dot{x})$代表了latent representation score，即$L_{lat}$。