ContraGAN: Contrastive Learning for Conditional Image Generation-阅读札记

ContraGAN: Contrastive Learning for Conditional Image Generation

阅读笔记

文章信息：Kang, Minguk, and Jaesik Park. "Contragan: Contrastive learning for conditional image generation." arXiv preprint arXiv:2006.12681 (2020). ( NeurIPS 2020)

Abstract

  存在的问题：以前的条件GAN网络都是数据到类的关系，没有考虑数据到数据的关系。
  提出的方法：本文提出了通过用条件对比损失(自己提出的)的ContraGAN，既可以考虑到数据到类的关系，也可以考虑到数据到数据的关系，ContraGAN的鉴别器通过分析给定样本的真实性并最大限度地减少了对比目标，以了解训练图像之间的关系；ContraGAN的生成器试图生成真实的图像，以欺骗真实性，并具有较低的对比损失。

  代码：https://github.com/POSTECH-CVLab/PyTorch-StudioGAN

1、Introdution

  首先介绍了一些现有的GAN网络，然后表明提出的ContraGAN网络是与之前的网络不一样的，用的条件对比损失conditional contrastive loss (2C loss) ，最后实验表明这种方法与之前的方法相比是很优越的。

  Contributions：
  ⭐提出了一种新的对比生成对抗网络（ContraGAN）用于条件图像生成。ContraGAN基于一种新的条件对比损失（2C损失），可以学习数据到类和数据到数据的关系；
  ⭐通过实验证明，在 Tiny ImageNet和ImageNet数据集上，ContraGAN分别将最先进的结果提高了7.3%和7.7%。ContraGAN还有助于缓解鉴别器的过拟合问题；
  ⭐ContraGAN在不增加一致性正则化数据的情况下显示了良好的结果。如果应用一致性正则化，ContraGAN可以提供更好的图像生成结果；
  ⭐提供了12个最先进的GAN的实现，以便进行公平比较。我们对CIFAR10数据集的现有技术实现的性能甚至比原始论文中报告的FID分数更好。

2、Background

  介绍了关于GAN以及条件GAN网络的一些相关知识，并且比较了ACGAN、ProjGAN和ContraGAN的鉴别器情况，如下图所示：

3、 Method

3.1 Conditional GANs and Data-to-Class Relations
  分析acgan和projgan的调节功能可以被解释为基于对的损失，这些损失只看训练样本的数据到类别的关系。

3.2 Conditional Contrastive Loss
提出的方法是在鉴别器和生成器中添加一个度量学习或自监督学习目标，根据标签明确控制嵌入图像特征之间的距离。

  作者首先介绍了NT-Xent损失，来更好的诠释这篇文章的idea：





  但是公式6需要适当的数据增强，无法考虑训练样本的数据与类关系，因此提出了改进策略（建议使用类标签的嵌入，而不是使用数据增强）：



  该方案可以推动具有与e(yi)相同标签的负样本。因此，通过在公式7的分子中添加这些负样本的余弦相似性进行了区分。最终损失函数如下：





  算法的伪代码如下：

4、Experiments

  介绍了一些实验设定以及实验指标，并且与现有的一些方法进行了对比，通过图表展示出来，这里只放出了生成图片的效果：

6、 Conclusion

  最大的贡献是提出了2C损失，跟上一篇文章类似，都是同一个团队发表的，并且上一篇文章比这一篇发表的时间要新。