PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION

一些名词

unprecedented前所未有的
inception初始的
autoregressive自回归
hybrid混合
synchrony同步的
prone易于
deviate偏离

摘要

描述了一个新的训练GAN的方法。
关键在于生成器和判别器都逐渐成长：由低分辨率开始，然后逐步增加层，随着训练，模型逐渐能优化细节。

这样加速了训练并逐渐稳定，生成了前所未有的高质量图像，例如CELEBA。

我们还提出了一个简单方式，增加生成图像的种类，并在无监督CIFAR数据集上取得了8.80的inception score。

除此之外，我们描述了很多重要实现细节，对于抑制不良对抗很重要。

最后，我们提出一个新的矩阵，评估GAN结果，包括从图像质量和变化两方面。

另一个贡献是我们建立了高质量的CELEBA数据集。

主要贡献：
1.逐渐增加生成器和分辨器层数，逐步生成高清图。
2.增加图像种类方法。
3.提出新矩阵metrix评估质量和变化两方面结果。
4.建立数据集CELEBA

1Introduction

生成方法广泛应用。最近主导方法有三种，自动回归模型、变分自动编码、GAN。他们有各自的优缺点。其中GANs能生成清晰图像，但只是在小分辨率上，变化有限，训练不稳定。

GAN有生成器和分辨器。

有一些潜在问题存在。当衡量训练分布和生成分布的距离时，梯度可能会有些随机方向，例如当太容易分辨真假时。有人用distance metric等等方法。（训练分布：应该指原图。生成分布：是生成的图）我们的贡献在很大程度上与正在进行的讨论是正交的，我们主要使用改进的Wasserstein损失，但也使用最小二乘损失进行实验。

生成高分辨图像就有上面的问题。我们的方法先从低分辨率开始，随着训练增加层。加速了训练，提高了稳定性。

图像质量和变异之间存在衡量。保留变异的程度，很多提出的衡量方法。我们的方法，新矩阵衡量质量和变异。

4.1节讨论初始化使得不同层学习速度均衡。不良对抗的发生原因，4.2节我们提出机制避免不良对抗。

在多个数据集评估我们方法，并生成了高质量数据集。相关一些材料获得方式

2Progressive growing of GANs

我们的GANs逐步成长的结构。生成器和判别器对称的。新增层，我们平滑的淡入。附录A描述了细节结构和训练参数。

渐进式训练有很多优点。1稳定，渐进。2训练时间短。

渐进训练GAN想法来自很多研究中。他们都是渐进、逐步更容易。

3Increasing variation using minibatch standard deviation使用小批量标准差增加变化

GANs倾向于只捕获训练数据中发现的变化的子集，Salimans等人(2016)提出“小批量识别”作为解决方案。利用小批量的统计信息。

我们简化了这种方法，改进了变化。
我们计算minibatch上每个空间局域每个特征的标准差，然后平均预测的所有空间局域特征的预测，获得一个值。复制这个值，并结合原预测，生成特征图。

4Normalization in generaor and discrimination生成器和判别器上的正则化

GANs由于不良对抗容易信号扩大。早期用BN，BN限制协变量转变。但是我们根源上是限制信号倍增和竞争。

我们用了两个成分，而且都没有学习参数。

4.1Equalized learning rate平衡学习速率

我们不像之前关注权重的初始化。而是使用了N（0，1）初始化。

4.2Pixlwise feature vector normalization in generator生成器中的像素特征向量归一化

5Multi-scale statistical similarity for GAN results评价GAN结果的多尺度统计相似性

我们的直觉是，一个成功的生成器将生成局部图像结构与所有尺度上的训练集相似的样本。我们建议通过考虑从生成图像和目标图像的拉普拉斯金字塔(Burt & Adelson, 1987)表示中提取的局部图像块分布的多尺度统计相似性来研究这一点，从16×16像素的低通分辨率开始。按照标准的实践，金字塔逐步翻倍，直到达到完整的分辨率，每个连续的水平编码的差异，一个向上采样的版本。

6Experiment实验