GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training阅读笔记

GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training阅读笔记

Abstract

异常检测任务，就是当数据集由于另一类（异常）的样本量不足而高度偏向一类（正常）时，从异常中确定正常数据。

由于异常情况的类别不可知同时数量较少等问题，导致有监督的分类学习问题不容易解决。所以引入半监督的学习方式。

半监督的学习方式：数据集只有正常类，测试集包括正常和异常类。

无监督的学习方式：数据集包括正常类和异常类，测试集包括正常和异常类。

我们引入了这样一种新的异常检测模型，通过使用条件生成对抗网络，联合学习高维图像空间的生成和潜在空间的推理。

生成器网络中采用编码器-解码器-编码器子网络使得该模型能够将输入图像映射到较低维度的向量，然后该向量用于重建生成的输出图像。

附加编码器网络的使用将该生成的图像映射到其潜在表示。在训练期间最小化这些图像和潜在向量之间的距离有助于学习正常样本的数据分布。

因此，在推断时，从这个学习到的数据分布得到的距离度量越大，则表明该分布存在异常值，即异常。（输入图像与输出图像之间的差值）

1 Introduction

计算机视觉方面取得的成就很大程度上依赖于大型的标记数据集。由于标记获取的成本较高，以及不同任务中类别的样本大小标记复杂性较高，现实中的许多问题都没有完备的已标记数据。

异常检测任务通过训练学习正常样本分布，然后识别这些不同于所学的正常样本分布的异常、不充分可用的样本(异常)。

异常检测任务的正式问题定义：

给定一个数据集$D$，包括大量用于训练的正常样本$X$，和相对较少用于测试的异常样本$\hat{X}$。模型$f$在其参数$\theta$上被优化。模型$f$在训练期间学习正常样本$X$的数据分布$p_X$，推理时，给定$x$测试实例，然后输出$A(x)$异常分数，较大的分数对应异常测试实例。

提出包含对抗训练框架的通用异常检测架构。只是用正常数据进行模型训练。我们也联合学习图像和潜在向量空间。

主要创新来自于这样一个事实:我们在编码器-解码器-编码器流水线中采用了对抗性自动编码器，在图像和潜在向量空间中捕获训练数据分布。

2 Related Work

木点大多数方法主要集中于重建的异常检测技术上。

绝大部分基于重建的方法已经用于研究视频序列中的异常。

1. Sabokrou等人研究了在自动编码器(全局)和最近邻相似性(局部)特征描述符上使用高斯分类器来对非重叠视频块进行建模。

Sabokrou, M., Fathy, M., Hoseini, M., Klette, R.: Real-time anomaly detection and localization in crowded scenes. 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)pp. 56–62 (2015). https://doi.org/10.1109/CVPRW.2015.7301284, http://ieeexplore.ieee.org/document/7301284/

2. Medel and Savakis使用convolutional LSTM 网络进行视频异常检测，仅对正常数据进行训练。

Medel, J.R., Savakis, A.: Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks. CoRR abs/1612.0 (dec 2016)

3. Hason等人使用两阶段方法，首先使用局部特征和全连接自动编码器，然后使用完全卷积的自动编码器进行端到端特征提取和分类。

Hasan, M., Choi, J., Neumann, J., Roy-Chowdhury, A.K., Davis, L.S.: Learning temporal regularity in video sequences. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 733–742 (2016)

4. Dimokranitous使用了对抗自动编码器。

5. Zenati 等人使用BiGAN，对图像空间映射到潜在空间进行了图像空间映射到潜在空间。

3 Our Approach: GANomaly

GAN的背景，GAN是一种无监督的机器学习算法。GAN的缺点是训练不稳定。

Adversarial Auto-Encoders(AAE)：对抗式自动编码器，通过两个自网络，编码器、解码器进行重建。用对抗性设置训练自动编码器不仅能更好地重建，而且能控制潜在空间。[12, 27, 31].

3.1 Proposed Approach

Problem Definition: 训练一个无监督的网络，使用高度偏向某一特定类别的数据集来进行异常检测。训练过程中只使用包含正常数据的。

模型f既学习正态数据分布，又最小化输出异常分数$A(x)$。对于给定的测试图像，$A(x)$的高异常分数表示图像中可能存在异常。对此的评估标准是阈值$(\phi )$分数，其中$A(x)>\phi$表示异常。

Ganomaly Pipeline:

**第一个子网络：**是一个沙漏状自编码器，作为模型的生成器部分，通过编码器和解码器学习数据表示和重构输入图像。

**第二个子网络：**编码器2，压缩由第一个子网络重建的图像$\hat{x}$，与第一个子网络的编码器部分结构相同，但是参数不同。作者认为是论文的核心地方，它摒弃了绝大部分基于自编码器的异常检测方法常用的通过对比原图和重建图的差异来推断异常的方式，采用了一种新的通过对比原图和重建图在高一层抽象空间中的差异来推断异常的方式，而这一层额外的抽象可以使其大大提高抗噪声干扰的能力，学到更加鲁棒的异常检测模型。

第一个子网络和第二个子网络共同组成GAN的生成器网络。

**第三个子网络：**GAN的判别器网络$D$

3.2 Model Training

假设，异常图像输入网络，decoder不能重建异常图像，encoder可以将异常图像$x$映射到中间变量$z$。这是因为网络在训练期间，只是用正常样本建模。

当输入图像$X$的潜在向量空间(z)中存在这种不相似性时，该模型将$X$分类为异常图像。

三个损失函数：

第一个子网络的损失是自编码器的重建损失，这里借鉴了pix2pix文章中生成网络的损失，采用的是L1损失，而不是L2损失。因为采用L2损失生成的图像通常比采用L1生成的图像要模糊。

$$L_{rec}=l_{1}Loss(InputrReal,InputFake)$$

第二个子网络的损失是编码网络的损失，这里需要比对的是原图和重建图在高一层抽象空间中的差异，即两个bottleneck(上文中的bottleneck1和bottleneck2)间的差异，采用的是L2损失。

$$L_{enc}=l_{2}Loss(bottleneck1,bottleneck2)$$

第三个子网络的损失是常规的GAN中判别网络的损失，这里采用的是二分类的交叉熵损失。

$$L_{adv}=bceLoss(InputD)$$

总的目标函数：

$$L_{G-Net}=\alpha L_{rec}+\beta L_{enc}+\gamma L_{adv}$$

主体损失为重建损失$L_{rec}$，编码损失$L_{rec}$为重建损失的一个约束，对抗损失$L_{adv}$则是用来和D-Net博弈。

3.3 Model Testing

使用第二个子网络，即对比原图和重建图在高层抽象空间中的差异，并且使用L1损失，来计算异常分数$A(\hat{x})$：

$$A(\hat{x})=||G_E(\hat{x})-E(G(\hat{x}))|{|}_1$$

4 Experimental Setup

使用MNIST、CIFAR和X-ray security screening

LeCun, Y., Cortes, C.: MNIST handwritten digit database (2010), http://yann.lecun.com/exdb/mnist/

Krizhevsky, A., Hinton, G.: Learning multiple layers of features from tiny images. Tech. rep., Citeseer (2009)

Akcay, S., Kundegorski, M.E., Willcocks, C.G., Breckon, T.P.: Using deep convolutional neural network architectures for object classification and detection within x-ray baggage security imagery. IEEE Transactions on Information Forensics and Se-
curity 13(9), 2203–2215 (Sept 2018). https://doi.org/10.1109/TIFS.2018.2812196

MNIST: 将一个类视为异常，而将其余类视为正常类。总的来说，我们有十组数据，每组数据都将单个数字视为异常

CIFAR10: 我们再次将一个类视为异常，而将其他类视为正常。然后，我们通过在后一类标签上训练模型，将异常值检测为来自前一类的实例。

**University Baggage Anomaly Dataset–(UBA): **包含230275个图像patches。正常样本通过滑动窗口从X-光图像中提取。异常类有三个子类组成——刀，枪和枪组件组成。

Full Firearm vs. Operational Benign- (FFOB)

VAE: An, J., Cho, S.: Variational autoencoder based anomaly detection using reconstruction probability. Special Lecture on IE 2, 1–18 (2015)

5 Results

6 Conclusion

引入了一个新的编码器-解码器-编码器体系结构模型，用于对抗式训练框架支持的一般异常检测。