读书笔记：Self-Supervised GANs via Auxiliary Rotation Loss

读书笔记：Self-Supervised GANs via Auxiliary Rotation Loss

在读完自监督综述之后，我们接着读这篇文章自监督GAN通过辅助旋转损失

---

Abstract：

背景：CGAN是处于自然图像合成的最前沿的方法，但是他的缺点也很明显，需要已经标注好的数据。
答案1：我们要做的是缩小有条件gan CGAN和无条件GAN之间的差距；———》我们的方法是使用了对抗训练（adversarial train）与自监督学习；
答案2：we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game.我们允许网络在表示学习的时候进行合作，同时具有经典GAN的对抗性；
答案3：自监督学习的作用是鼓励鉴别器学习/提取特征，同时还不会忘记这些特征；

---

Introduction：

背景1：介绍GAN,一种无监督网络。在一个adversarial game中有一个generator和discriminator model；
困难1：训练一个GAN是比较困难的，需要在高维系数中找到其中的一个Nash平衡；
背景2：GAN经常使用的是随机梯度下降的方法-> 带来了不稳定，缺乏理论支持的困难 -> 表现在训练不稳定、分歧、循环结果、模式崩溃等
原因1：generator和discriminator都在一个非稳定的环境下。例如：discriminator需要动态判断generator随机产生的sample，在这种不稳定的情况下，神经网络会忘掉之前的任务，出现循环的情况。
原因2：另一个办法就是使用conditional，就是generator和discriminator可以访问标签数据；
答案：我们的答案是希望可以希望在没有标签的情况下也拥有conditional的优点/优势；同时，为了保证我们discriminator的represent learning是十分可靠稳定的；我们加入了辅助、自监督的discriminator
模型：我们提出了一种新颖的模型，自我监督的GAN，generator和discriminator在task上提取特征、并且二者相互互相竞争。

我们的贡献：
我们提出了一个无监督模型，其中将对抗训练和自我监督学习互相结合。同时，我们的模型恢复了条件GAN的优势。

关键问题：Discriminator Forgetting

训练通常使用的是随机梯度下降的方法进行训练，但这带来了众多困难与挑战；随着G的变化，对discriminator意味着一个非线性的在线学习的问题；

The self-supervised GAN

基于discriminator带来的挑战，我们主要关注在discriminator的鉴别机制上——允许学习有用的特征。为此，我们采用了自监督方法进行表示学习来提取特征。
自监督学习的思想是：设置一个前置任务来提取特征，通过前置任务来预测图像的旋转角度和图像块的移动相对位置。我们将监督学习添加到鉴别器discriminator之中；

如上图所示，这个discriminator分为两个任务，真/假分类与旋转度检测分类；可以看到在旋转任务之中将真假图片通通旋转了90/180/270°，同时只将直立图片作为真/假分类。
方法：如上图，在自我监督任务是预测图像的旋转角度。结果是当加上了自我监督学习，网络将学习跨任务传输表示，并且性能会提高。

协作对抗训练（Collaborative adversarial training）
在我们的模型之中，generator和discriminator在真假预测损失中具有对抗性（例如图一之中的红框）。但是在旋转度任务上是互相协作的（蓝框）。同时，generator不一定只生成0度的图像，所以真假鉴别器只会送来真实数据的图像来预测旋转角度

实验与结果

实验结果说明了 1、自监督学习提升了表示学习相比于baseline 2、改善了无条件generation生成复杂数据集与条件gan性能相比
通过研究，我们希望这种协作式自我监督与对抗训练相结合的方法为未来高质量、完全无监督、生成model铺平一个道路。