【飞桨】【paddlepaddle】【论文复现】论文解读-BigGAN

论文复现课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340
论文链接：Large Scale GAN Training for High Fidelity Natural Image Synthesis

论文概要：
近年来生成对抗网络GAN的取得了长足进步，它能直接成数据中生产高保真、多样化的图像，GAN 的训练是动态的，并且对几乎所有层面的设置都很敏感，从 ImageNet 这样的复杂数据集生成高分辨率、多样化的图像仍然是一个具有挑战性的工作，当前最佳结果仍然仅达到了 52.5 的 IS，而真实数据有 233 的 IS。 这篇论文将原有的GAN的模型，用8倍原有的batch size大小，并且将隐藏层的变量数量扩充到原有模型的4倍以后，进行训练获得了很好的图片生成的效果。

前置知识：
什么是生成对抗网络(GANs)，GAN 的思想启发自博弈论中的零和游戏，包含一个生成网络G和一个判别网络D。训练过程中，生成网络G的目标是尽量生成真实的数据去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假数据和真数据。这个博弈过程最终的平衡点是纳什均衡点。

论文采用的方法：
1、将batch size增大了8倍，将隐藏层的变量数量扩充到原有模型的4倍以后，进行训练获得了很好的图片生成的效果。

问题：模型以更少的迭代次数达到了更好的性能，但变得不稳定并且遭遇了完全的训练崩溃。 

 

2、采用了截断技术，对正态分布的随机数进行截断处理，实验发现这种方法的结果最好。 

 

3、本文着重对小规模时稳定，大规模时不稳定的问题进行分析。 在训练中，G的大部分层的谱范数都是正常的，但有一些是病态的，这些谱范数随着训练的进行不断的增长，最后爆炸，导致训练坍塌。 

 

论文结论
大规模训练造成的不稳定问题，不只是来源于生成器或是判别器之一，更多的原因是由于两者之间的相互的作用。对 D 进行严格的限制能确保稳定性，但会严重损失最终生成的数据的质量。以现有的技术，可以放宽这个条件并允许崩溃在训练出一个好的结果之后发生和达到更好的数据生成效果。