PaddlePaddle论文复现营——《Large scale GAN training for high fidelity natural image synthesis》

前言

最近参加百度顶会论文复现营，课程链接点这里：百度定会论文复现营
选择GAN方向中较为简单的一篇论文进行阅读——《Large scale GAN training for high fidelity natural image synthesis》
这是一篇2019年发表在ICLR上的GAN方向的论文，它的作者是Andrew Brock(from Heriot-Watt University), Jeff Donahue(from Deep Mind) and Karen Simomyan(from Deep Mind).

任务描述

图像生成：从现有数据集中生成新图像的任务。
近年来，生成图像建模领域出现了不少成果，其中最前沿的是GAN，它能直接从数据中学习，生成高保真、多样化的图像。虽然GAN的训练时动态的，而且对各方面的设置都很敏感（从优化参数到模型架构），但大量研究已经证实，这种方法可以在各种环境中稳定训练。

相关介绍

1. GAN的训练时动态的，并且对几乎所有层面的设置都很敏感（从最优化参数到模型架构）， 但有大量的研究在经验上和理论上获得了在多种设置中实现稳定训练的洞察。
2. 尽管得到了这样的进展，当前在条件ImageNet建模上的当前最佳结果仍然仅达到了52.5的IS，而真实数据有233的IS。【IS（inception score）用来衡量GAN网络的两个指标：生成图片的质量 和 多样性】
3. 在这项研究中，作者成功地将GAN生成图像和真实图像之间的保真度和多样性gap大幅降低。

论文方法

• 高分辨率能够带来更为真实的生成图像，在这样的思想的指导下，本论文结合了GAN的各种新技术，并且分析了训练难的原因，最后提出了自己的模型。
• 本文展示了GAN可以从训练规模中显著获益，并且能在参数数量很大和八倍批大小于之前最佳结果的条件下，仍然能以2倍到4倍的速度进行训练。作者引入了两种简单的生成架构变化，提高了课拓展性，并修改了正则化方案以提升条件化（conditioning），这可论证地提升了性能。

这篇论文将原有的GAN的模型， 用8倍原有的batch size大小，并且将隐藏层的数量扩充到原有模型的4倍以后，进行训练获得了很好的图片生成效果。与此同时，在扩充了变量数量和batch size大小后，模型出现了不稳定的现象，文章中队出现的不稳定现象，采用现有的比较有效的稳定训练GAN的方法，但是文中发现这样确实会稳定GAN的训练，但是同时会牺牲生成图片的质量。

暂时就先写这么多，先继续研究。