[论文笔记]Self-Supervised GANs via Auxiliary Rotation Loss

1、文献综述

文章链接：链接
文章题目：《Self-Supervised GANs via Auxiliary Rotation Loss》
项目地址：源码

2、文献导读

现阶段Conditional GAN在自然合成图像方面属于最前沿，但其有个明显缺点就是需要大量标记数据，但是无条件GAN训练又会容易出现不稳定问题，针对这些问题，文章提出新的方法，利用辅助损失解决GAN不稳定的问题，用旋转分类将辅助分类器对label的需求去掉，使图片可以直接对自己标注类别。

3、文献详细介绍

本文主要贡献如下所示：

•We present an unsupervised generative model that combines adversarial training with self-supervised learning. Our model recovers the benefits of conditional GANs, but requires no labeled data. （提出了一种将对抗训练与自我监督学习相结合的无监督生成模型。 模型恢复了条件GAN的优势，但不需要标记数据。）
•under the same training conditions, the self-supervised GAN closes the gap in natural image synthesis between unconditional and conditional models.（在相同的训练条件下，自我监督的GAN弥补了无条件模型和有条件模型之间自然图像合成的空白。）

训练GAN，一个很重要问题就是不稳定。判别器会出现遗忘的现象，就是在判别器学习当前数据分布掌握其数据特征后，又来一个完全不同的样本分布，此时判别器就会遗忘上个数据特征，从而形成模型的欠拟合。从下图可以看到(蓝色虚线表示一般GAN)，当迭代达到500K时，由于判别器出现遗忘现象时，模型的准确率开始下降。

下图，在切换到下一个任务之前，它会针对每个任务进行1k次迭代训练。在10k次（垂直的绿色虚线处）迭代后，训练周期从第一个任务开始重复。图中左侧表示一般的GAN，显示了实质性的遗忘，尽管任务相似。每次任务切换时，分类器的准确性都会大大降低。经过10k次迭代后，任务循环重复进行，其准确性与第一个循环相同，任务之间没有携带有用的信息。于是文章提出自我监督方法，引导GAN中判别器的训练。当加上自我监督的损失时，网络会学习跨任务传递的表示，并且性能会不断提高。 在任务的第二个周期中，从10k次迭代开始，性能得到了改善。

接下来看看文章提出的模型：

从图中可以看到，在旋转任务方面生成器和判别器是协作的，鼓励生成器生成可旋转检测的图像，因为它们与用于旋转分类的真实图像共享特征。当然，生成器和判别器相对于真实预测损失与虚假预测损失这二者又回归到对抗性。

对于原始的GAN损失函数：
$$V(G,$$