LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS

前言：这篇paper提出的BigGAN可谓是截至2018年在生成图片质量和多样性方面性能最好的GAN了，作者是赫瑞瓦特大学的Andrew Brock，目前在谷歌实习，这位实习生得到Goodfellow等多位前辈的关注，另外两名是来自谷歌DeepMind团队的Jeff Donahue和Karen Simonyan。BigGAN到底多强大？与BigGAN出现之前最好GAN模型SA-GAN相比，性能（IS指标）提高两倍，SA-GAN的IS得分52.52，FID得分18.65，BigGAN的IS得分166.5，FID得分7.4，而真实的图片的IS得分也不过才233。该paper的实验在512块TPU上进行，一块TPU的性能相当于十几块甚至更多GPU的性能，而一块TPU在实验中的用电量相当于美国一户家庭半年的用电量。该一作称：“这些模型所需的不是算法的改进，而是计算力的进步。当你增加模型容量并增大每步所显示的图像数量时，你就会得到双重组合带来的效果。”

原文链接

译文

目录

1、背景知识

2、两个衡量GAN性能的指标——IS&FID

3、paper正文

3.1 文章动机

3.2 文章贡献

3.3 背景介绍

3.4 扩大GAN规模

3.5 分析BigGAN不稳定原因

3.5.1 从G的角度思考

3.5.2 从D的角度思考

3.6 实验分析

3.7 结论

4、personal idea

---

1、背景知识

关于最简单的GAN，下面这张图很好的解释了GAN：

提到GAN，最小最大化，博弈是听到比较多的词了，那么minmax到底是怎么做的？下图截图自李宏毅老师的视频：

2、两个衡量GAN性能的指标——IS&FID

首先，我们需要知道，GAN的生成效果好坏到底与什么有关，经过前人归纳，得到Quality（生成图片的质量）和Variety（生成多样性）可以用来粗略衡量GAN的性能，因此，便出现了两种指标IS和FID来衡量质量和多样性，推导可见。

IS可衡量生成图像的质量和多样性，感觉还是侧重质量，因为衡量多样性，有更好的指标FID，因此在paper中我们看到它二者就知道是衡量什么啦。

IS得分越高，说明生成的图像质量越高，FID得分越低，说明生成的图像多样性越高。

补充一下：其实后来有论文对这个指标进行改进，IS指标和FID指标还是有一定缺陷的，但是鉴于多数论文都采用这两个指标，所以本文也用了这两个指标来衡量模型性能。

3、paper正文

3.1 文章动机

“Despite recent progress in generative image modeling, successfully generating high-resolution, diverse samples from complex datasets such as ImageNet remains an elusive goal. To this end, we train Generative Adversarial Networks at the largest scale yet attempted, and study the instabilities specific to such scale.”虽然SA-GAN已经可以生成质量还不错的图像，但是其还有很大的提升空间，尤其是从复杂数据集，比如ImageNet中生成高分辨率、多样化样本仍然是一个难题。尤其是多样性，之前的paper可能都不是太令人满意。

其实，我 个人觉得，BigGAN的性能提高了，就是说生成器训练的更逼真了，那么Goodfellow最开始提出GAN时的动机就都可以作为该paper的动机，至于Goodfellow说GAN有什么用，还请参考Generative Adversarial Networks（2016）为什么要提出GANs部分。

3.2 文章贡献

原文在Introduction部分，表明此项工作的意义，之前的SA-GAN的IS得分52.5距离真实图片的IS得分233还有一定差距，而本文将IS提高到166.5。本文主要从GAN生成的图像与I