OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations 论文总结

论文：Perera P , Nallapati R , Xiang B . OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations[J]. CVPR 2019.该论文采用GAN网络并增加约束，来做One-class异常检测。

• Motivation：

       在传统的One-class模型（AE）中，将所有的in-class样本输入AE网络中学习潜在空间的数据分布。但是因为学到的空间比较大，所以一些out-class样本也可以在这个潜在空间中表示。

（在图中，可以看到数字1，AE也可以重构的很好，理论上我们不希望看到这样的情况）

• Algorithm：

     主要采用网络结构是Denoising AutoEncoder，在这个基础上分别添加了：1、针对潜在空间的约束；2、针对重构后的图像，在视觉上要尽可能的相似；3、引入了一个基于梯度下降的采样技术，采样（挖掘）到潜在空间中产生out-class样本的区域，并且修复。

     Denoising AutoEncoder：

                 

与传统的AE相似，唯一不同的是在输入image中随机加入噪声，提高模型的泛化性。其次，在Encoder网络的最后的输出层中，使用了Tanh()激活函数，Tanh()是一个值域在(-1,1)内的有界的激活函数，这样对于潜在空间有一定约束作用。

     Discriminator for latent space：

 

                       

       在潜在空间后添加判别器，是为了约束Encoder获得的潜在空间表示都为in-class样本。Encoder获得的数据为真实的样本，fake样本从(-1,1)的均匀分布中随机产生。

       Discriminator for Visual

       为了使网络不能表示任何out-class样本，建议对潜在空间进行详尽的采样，确保对应的图像不来自与类外。因为没有负样本，相反要确保潜在空间中生成的图像分布与给定类相同。通过对抗学习，使得解码器De(s)从随机潜在样本生成的图像与给定类的样本类似。从而达到约束潜在空间的目的。

                         

       Informative-negative Mining：

       实验中发现，在使用上述的网络框架下，生成的图像中，依旧有将数字“9”生成为“0”的情况。这表明潜在空间中还有一些不能生成给定类的区域。给论文中采用的方法是尽可能的在潜在空间中寻找生成negative图像的区域（eg.生成“0”）。Informative-negative Mining 使用分类器来评估从随机潜在样本生成的图像的质量，分类器的loss函数被用于反向传播并计算潜在空间的梯度，最后用新的点替换掉之前潜在空间中生成坏样本的位置。（大体就是挖掘到潜在空间中产生负面样本的区域，并且改进）

       Classifier：

       这里的classifier就是上面Informative-negative Mining使用的分类器，且因为没有负样本，只通过是否与给定类相似来判断正负样本，所以是一个弱分类器。用来判断从潜在空间生成的样本是否是positive的。

                          

                                                                                                    挖掘到的负面样本和正面样本         

       Full OCGAN Model：

                                    

       整个OCGAN网络主要由Generator，针对latent space的Discriminator，针对visual的Discriminator，以及classifier四部分组成。主要是从各个方面对潜在空间进行约束，来达到从潜在空间唯一生成到给定类的目的，最后用于one-class novelty detection。

• Experiments:

       Datasets：COIL100（100个图像类，每类有少量图像）、fMNIST（28x28的时尚服装/配件数据集）、MNIST（28x28 数字0-9）、CIFAR10（10类自然图像）

                                 

       Experiment results：

                                   

       实验中使用AUC值作为评估的标准，OCGAN方法相对其他生成对抗、AE等方法有更好的效果。

 

                   

       表2中，对比各个方法的AUC值，OCGAN方法不仅得到了一个更好的平均AUC值，而且在10个类中有9个类的AUC值是最好的。

                                             

       论文中还有关于OCGAN网络的消融实验，分别验证了网络框架中的各个部分对于最后实验结果的影响。

 

Conclusion：

       这篇论文展示了一个在单类上训练的网络能够表示一些类外的例子（假设类内的对象足够多样化）。为了解决这一问题，引入了一种基于隐空间采样的网络学习方法。首先利用潜在鉴别器将潜在空间限制为有界的，并使类内样本的潜在投影均匀分布于潜在空间中。然后，从潜在空间采样，并确保使用视觉鉴别器，任何随机潜在样本产生的图像来自同一类。最后，为了减少误报，引入了一种信息负挖掘过程。证明了OCGAN模型在四个公开数据集上优于许多最近提出的一类新颖性检测方法。