【paddlepaddle】【百度论文复现训练营】BigGAN论文阅读心得体会

百度论文复现训练营：https://aistudio.baidu.com/aistudio/education/group/info/1340

论文地址：https://arxiv.org/abs/1809.11096

论文代码：https://github.com/sxhxliang/BigGAN-pytorch

 

目录

一、BigGAN的研究动机

二、BigGAN的亮点

三、具体方法

四、实验输出

五、论文总结

六、心得体会

---

 

一、BigGAN的研究动机

当前GAN生成的图像质量和多样性不够优秀(SOTA的IS也不过52.5，而真实数据的IS达到233)。

 

二、BigGAN的亮点

通过增加GAN的参数规模(batch_size大小和hidden layer层数)，有效提高生成图像的质量和多样性(IS值)。

 

三、具体方法

1.增加规模，提升质量

"We demonstrate that GANs benefit dramatically from scaling, and train models with two to four times as many parameters and eight times the batch size compared to prior art."

“我们建议将模型参数变为原来的2至4倍，将训练模型的batch_size变为原来的8倍。这样可以让GANs从模型的规模中获益。”

2.提出简单通用的结构

*注：(a)为常规的生成器结构，(b)为残差的生成器结构，(c)为残差的判别器结构。

 

3.问题与解决

(1) 问题：

在增加batch_size倍数的情况下可以加快速度，提升IS，但同时会使得训练不稳定甚至完全崩溃。

(2) 解决:

使用早停，在刚刚出现崩溃的时候立即停止，然后查看保存的断点信息。

使用截断技巧，即对随机生成的数据加上约束，当随机数不符合约束时，重新采样。这样可以提高生成的质量，但会因此减少多样性。

 

四、实验输出

1.生成的数据

2.实验细节

 

五、论文总结

本文通过增加模型的参数规模，有效提高了生成图片的质量和多样(IS值)。但也因此造成生成过程的不稳定甚至崩溃，为了解决该问题，使得生成过程更稳定。文章采用早停，一旦崩溃立即停止并查看断点分析。并使用截断技巧，使得单张图片的质量提高，但也使得多样性减小。

并且论文讨论了生成质量与稳定之间的关系。

 

六、心得体会

阅读该篇论文明白了科研的过程是一个不断尝试的过程，BigGAN的核心思想(即增大参数规模)极有可能是作者在某次偶然尝试中发现的现象，并深入研究这种现象，才有了本篇论文。但这种尝试不是无目的的尝试，而是在经过大量专业知识的积累，大量论文阅读的沉淀，大量科研经验叠加的顺理成章的尝试。

在阅读他人优秀论文的时候，刚开始可以先快速过一遍摘要、介绍和总结，大致明白本篇论文的创新点和思路。然后阅读论文的Method章节，明白本篇论文具体是怎么做的，包括理论来源，数学公式证明等。最后仔细阅读实验部分，特别是如何在代码中实现，并且在哪些数据集上进行的验证，这样对自己复现该篇论文有益。

特别要注意的一点是，论文后面的附录不能略过，很多时候附录记录了作者做实验的细节，可以通过这些细节发现作者的整个思路，对自己做科研也是有好处的。而且很多作者会将网络结构的具体实现在附录中展现，通过这些我们可以很容易复现作者提出的模型结构。

总之，阅读论文不是一件容易的事情，需要我们有足够的勇气面对阅读论文时的困难与痛苦。但只要多读多理解，不懂就查询，阅读之后做好笔记，就一定会逐步减少对读论文的恐惧，甚至爱上读论文。