Class-Distinct and Class-Mutual Image Generation with GANs (CP-GAN)论文阅读笔记

摘要：
生成式对抗性网络(GANs)的类条件扩展，如辅助分类器GAN (AC-GAN)和条件GAN (cGAN)，由于能够将表示形式分解为类标签等因素并提高训练的稳定性而受到关注。然而，有一个限制是，它们假定每个类都是可分离的，并且忽略了类之间的关系，即使在实际场景中，基于不同的或模糊的标准收集数据时，类之间经常发生重叠。为了克服这一局限性，这篇文章我们提出了一个新的类区分和类互生成问题，其目标是构造一个生成器来捕获类之间的关系，并根据类的特殊性有选择地生成一个图像。为了解决这一个问题，提出了CP-GAN来，在CP-GAN中，我们重新设计了类重叠数据的生成器输入和AC-GAN的目标函数。准确地说，本文将分类器的后验分布加入到生成器的输入中，并对生成器进行优化，使生成数据的后验与真实数据的后验相对应。
介绍：
在计算机视觉任务中，生成对抗网络由于可以匹配高维特征，而备受瞩目。其中，AC-GAN与c-GAN由于附加信息的存在，将学习的目标从总体分布简化为类条件分布。且有助于稳定GAN培训。但是，上述两种方法均将类假设为独立存在的，而忽视了类之间的相互关系。
为了弥补这一缺陷，本文解决了一个新的问题，称为类区分和类互图像生成，其中的目标是构造一个生成器，该生成器可以捕获类之间的关系，并根据类的特殊性有选择地生成图像。为了在没有额外监督的情况下解决这一问题，本文提出了后验的分类器，重新设计了生成器的输入和用于类重叠数据的AC-GAN目标函数。准确地说，本文使用分类器的后验来表示类之间的关系，并将其合并到生成器输入中。此外，又对生成器进行了优化，使生成数据的后验分布与真实数据的后验分布相对应。这个公式允许CP-GAN以数据驱动的方式捕捉类间关系，并根据类的特异性生成图像。
CP-GAN:
问题定义：我们分别用上标r和g表示真实分布和生成分布。令x,y分别表示图像以及其对应的标签。D为图像的维度，c是类的数目，并使用one-hot编码来表明label。本文处理的是依赖实例的类重叠:根据图像内容发生的类重叠。在这种情形下，类分离与类重叠就依赖于潜在的类后验分布 ，当 对某个特定类接近1时，表明这个样例是类分离的。与之对应，如果对于混合类有类似的值，则认为是类重叠的。
这篇文章的目标是：在给定离散标定数据的前提下，构造一种基于类特异性条件下选择性生成图像的类区分和类重叠的图像生成器。这对于传统GAN网络而言是很难实现的，CP-GAN考虑类间关系，从而实现这点。

回顾AC-GAN:
AC-GAN是GAN的一个类条件扩展，旨在学习一个条件生成器G把输入的噪声z以及标签转化为图像。Z采用于均匀分布，y从类分布中取样。为了实现这一目标，AC-GAN使用了两个损失函数，对抗损失以及AC 损失。

1. 对抗损失：
   
   D是鉴别器，尝试找到真实图片与生成图片，而G尽可能生成使D无法区别的图片。
2. AC损失：
   
   分别是分类器对真实图片和生成图片的后验分布。通过最小化 ，分类器可以学习如何将真实图像分类给对应的类别。而最小化 ，生成器可以生成尽可能与对应类别一致的生成图像。
   这样它们的最终的总目标函数就是：
   

AC-GAN在处理类重叠数据的局限性：
在AC-GAN训练C的时候，会使生成的数据向数据分离的地方分类，从而会使类重叠的数据在生成时无法表示出其中的类间关系。

CP-GAN：
为了克服这些限制，我们重新设计了生成器的输入和目标函数。首先，为了表示生成器输入中的类间关系，我们将离散先验分布替换为实际数据的分类器后验分布 。在CP-GAN中，生成器的表达式为。其次，为了使生成数据的分类器后验更接近而不是离散的，我们将生成数据的KL-AC损失重新表述为

这里,，通过最小化这一损失，从KL散度的角度看，生成器被鼓励生成的分类器后验分布接近于真实分布。CP-GAN的优点是其生成器的分布形状是先验的，其分布是以数据驱动的方式确定的。

实验：
实验部分不详细介绍了，大家可以看原文，这里就补充几个实验结果。