《Progressively Growing of GANs》论文解读

论文：https://arxiv.org/pdf/1710.10196.pdf

源码：https://github.com/tkarras/progressive_growing_of_gans

摘要

        我们为生成对抗网络GAN描述了一种新的训练方法。这种新的训练方法的关键思想是渐进的让生成器和判别器增长：从一个低分辨率开始，随着训练发展，我们不断添加新层使模型增加更好的细节。这个方法既加速了训练又使训练更加稳定，生成的图片质量史无前例的好，例如：对于大小的CELEBA图片。我们还提出了一种简单的方法来增加生成图像的差异，并在无人监督的CIFAR10中获得创纪录的初始得分8.80。此外，我们描述了若干实现细节，这些细节对于阻止生成器和鉴别器之间的不健康竞争非常重要。最后，我们提出了一种用于评估GAN结果的新指标，包括图像质量和变化。另外，我们构建了更高质量的CELEBA数据集。

1  介绍

        通常，一个GAN由两个网络组成：生成器和判别器。 生成式网络生成样本，例如：从一个潜在的代码中生成一副图片，理想情况下，这些生成的图片分布和训练的图片分布是不可分辨的。因为通过创建一个函数来辨别是生成样本还是训练样本一般是不可能的，因此需要训练鉴别器网络来进行评估，因为网络是可区分的，所以我们也可以得到一个梯度用来引导网络走到正确的方向。通常，生成器是最主要的功能方，判别器是一种自适应损失函数，一旦训练了生成器就将其丢弃。

        高分辨率图像的生成很困难，因为更高的分辨率使得判别器更容易分辨生成的图像和训练图像，从而极大地放大了梯度问题。 由于内存的限制，较大的分辨率还必须使用较小的批量minibatches处理，这进一步损害了训练的稳定性。 我们的主要亮点在于，我们可以从更简单的低分辨率图像开始，逐步增加生成器和鉴别器，随着训练的发展，不断添加新的层，用于引进更高分辨率细节。这个很大程度上加速了训练并提高了高分辨率的稳定性。

2  Progressive Growing of GANS（逐步增长的GANS）

        我们的主要贡献是提出了一种针对GAN的培训方法：从低分辨率图像开始，然后通过向网络中添加层来逐步提高分辨率，如Fig. 1所示。这种递增的性质使训练可以首先发现大尺度的图像分布，然后将注意力转移到越来越精细的尺度细节上，而不必同时学习所有尺度。右边的一个显示了6个示例图像，这些图像是使用1024 × 1024的渐进式增长生成的。

        我们使用生成器网络和判别器网络，它们互为镜像，并且始终同步增长。在整个训练过程中，两个网络中所有的现有层都保持训练状态。将新的层添加到网络后，我们会平滑地淡入淡出效果减弱它们，如Fig. 2所示。这样可以避免对已经训练有素的较小分辨率的图层造成突然的冲击。

        引入残差块的概念，使网络逐步适应高分辨率，直至构建成新的网络结构，这样有助于利用前期训练好的网络。

        在过渡（b）中，我们将以较高分辨率操作的图层视为 “残差块”，其权重α从0到1线性增加。此处2 × 2和0.5 × 0.5表示使用最近邻滤波（nearest neighbor filtering）和平均将图像分辨率加倍和平均池化（average pooling）减半。 toRGB表示将特征向量投影为RGB颜色的图层，而fromRGB则相反，都使用1 × 1卷积。训练判别器时，我们会输入缩小后的真实图像，以匹配网络的当前分辨率。在分辨率转换期间，我们在真实图像的两个分辨率之间进行插值，类似于生成器输出将两个分辨率组合在一起的方式。

3  Increasing Variation Using Minibatch Stander Deviation（使用小批量标准偏差增加可变性）

        我们首先计算小批量上每个空间位置中每个特征的标准偏差（standard deviation）。然后，我们对所有特征和空间位置的这些估计值求平均，以得出单个值。我们复制该值并将其连接到所有空间位置以及整个小批量上，从而生成一个附加的（恒定的）特征映射。该层可以插入到鉴别器中的任何位置，但是我们发现最好将其插入到末尾。

4  Normalization In Generator And Discriminator（生成器和判别器中的归一化）

        由于两个网络之间的不健康的一个竞争结果，GANs往往会有信号幅度升级情况。

4.1  Equalized Learning Rate（调节学习速率）

        不同于当前谨慎进行权重初始化，使用了一个数学最简单的正态分布初始化，在运行时显式缩放权重。

4.2  Pixelwise Feature Vector Normalization In Generator（生成器中的像素pixel-wise特征向量归一化）

        为了避免由于竞争而导致生成器和鉴别器中的量级幅度失控的情况，我们对每个像素中的特征向量进行归一化使每个卷积层之后的生成器中的长度可以单位化。