Self-Supervised GANs via Auxiliary Rotation Loss

       条件GAN处于自然图像合成的前沿。这种模型的主要缺点是需要标记数据。在这项工作中，我们利用了两种流行的无监督学习技术，对抗训练和自监督，并朝着弥合有条件和无条件GANs之间的差距迈出了一步。自监督的作用是鼓励判别器学习到在训练中不会忘记的有意义的特征表征。在相同的条件下，自监督GAN实现了与最先进的条件对等体相似的性能。

       GAN：生成对抗网络(GANs)是一类无监督的生成模型[1]。GANs包括在对抗游戏中训练一个生成器和鉴别器模型，使得生成器学习从期望的数据分布中产生样本。训练GANs具有挑战性，因为它涉及到在高维参数空间中搜索非凸博弈的纳什均衡。在实践中，gan通常使用交替随机梯度下降法进行训练，这种方法通常不稳定且缺乏理论保证[2]。因此，训练可能表现出不稳定性、发散性、周期性行为或模式崩溃[3]。训练不稳定的一个主要原因是发生器和鉴别器在非稳定环境中学习。特别地，鉴别器是一个分类器，其中一个类别(伪样本)的分布在训练期间随着生成器的改变而改变。在不稳定的在线环境中，神经网络会忘记以前的任务[11，12，13]。如果鉴别器忘记了先前的分类边界，训练可能变得不稳定或循环。

       受上述挑战的激励，我们的目标是证明人们可以恢复conditioning条件的益处，而不需要标记数据。为了确保鉴别器学习到的表示更加稳定和有用，我们向判别器添加了一个辅助的、自我监督的损耗。这导致更稳定的训练，因为减少了判别器的表示对生成器输出质量的依赖性。我们引入了一个新的模型——自监督GAN——其中生成器和判别器在表征学习任务上合作，在生成任务上竞争。

       我们提出了一个无监督的生成模型，结合了对抗训练和自我监督学习。我们的模型恢复了条件GAN的好处，但不需要标记数据。

       在最初的minimax设置中，生成器最大化方程1的参数，而鉴别器最小化它。训练中不稳定的一个来源是，只要当前表示对于在类别之间进行区分是有用的，鉴别器就不会被激励来保持有用的数据表示。此外，如果应用正则化，鉴别器可能会忽略除了区分真实和虚假数据的次要特征之外的所有特征。

       图3(a)显示了大量的遗忘，尽管任务是相似的。每次任务切换时，分类器的准确度都会大幅下降。任务之间没有有用的信息。这表明该模型在这种不稳定的环境中不保留泛化的表示。表示关于类的信息是获得的，后来被遗忘了。这种遗忘与训练的不稳定性有关。

       受到鉴别器遗忘的主要挑战的激励，我们的目标是给鉴别器注入一种机制，该机制允许学习有用的表示，而不依赖于当前生成器的质量。自监督背后的主要思想是在一个前置任务上训练一个模型，如预测图像块的旋转角度或相对位置，然后从产生的网络中提取表示。

       人工标签：图像旋转的角度，图1彩色箭头表示在真假分类损失任务中只考虑直立图像。当与自我监督损失相结合时，网络学习跨任务迁移的表征，并且性能持续提高。直观上，这种损失促使分类器学习有用的图像表示来检测旋转角度，这迁移到图像分类任务。

       生成器 不是有条件的，而是 仅产生“直立”图像，该图像随后被旋转并被馈送到鉴别器。结果，鼓励生成器生成旋转可检测的图像，因为它们与用于旋转分类的真实图像共享特征。

       我们从经验上证明:(1)自监督提高了基线GAN模型的表示质量,(2)在相同的训练条件下，它改善了复杂数据集的无条件生成，匹配了条件GAN的性能。相比之下，SS-GAN不使用条件批处理规范化。

       batchsize为64，16张图片都分别旋转4个角度。我们不添加任何新的图像到批次中来计算旋转损失。

       自监控(SS-GAN)的加入稳定了uncond-GAN并提高了性能。无条件GAN在IMAGENET上不稳定，训练经常发散。有条件GAN大大超过它。SS-GAN，在IMAGENET上是稳定的，并且比无条件GAN执行得好得多。当配备self-modulation时，它的性能与有条件的GAN相当。

       GANs是脆弱的；对超参数设置的更改会对其性能产生重大影响。以前的研究发现，每个生成器步骤多个鉴别器步骤有助于训练[1，2]，所以我们尝试每个生成器步骤1和2个鉴别器步骤。

       自我监督稳定训练；随机种子的平均值和方差大大降低，因为与常规的无条件GAN不同，SS-GAN从不崩溃。

       总的来说，SS-GAN和cond-GAN的表现优于unCond-GAN，这与它们改进的样本质量相关。

       当我们去除GAN 损失，只留下旋转损失时，表征的质量会显著下降。在FID和表示质量方面，对抗损失和旋转损失似乎是互补的。我们强调，我们的鉴别器架构是为图像生成优化的，而不是为表示质量优化的。

       BiGAN通过额外的编码器网络来学习表示，而SS-GAN更简单，直接从判别器中提取表示。总之，表征质量评估强调了表征质量和图像质量之间的相关性。这也证实了SS-GAN确实学习了相对强大的图像表示。

       条件GANs是目前对复杂数据集(如ImageNet)进行生成性建模的最佳方法。此外，AC-GAN生成器根据类生成图像，而我们的生成器是无条件的，图像随后被旋转以产生人工标签。最后，鉴别器的自我监督损失仅使用真实图像，而AC-GAN同时使用真实图像和伪图像。我们注意到，条件gan也在生成器中使用标签，或者通过与隐向量连接，或者通过FiLM调制[38]。

       这项工作为未来的研究开辟了几条途径。首先，将最先进的自监督架构用于鉴别器，并优化为最佳可能的表示，这将是很有趣的。第二，自监督GAN可用于半监督设置，其中少量标签可用于微调模型。最后，可以利用最近引入的几种技术，如自注意力、正交归一化和正则化以及采样截断[9，22]，以在无条件图像合成中产生更好的性能。