PG-GAN

PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION翻译

为改善质量，稳定性和可变性的GANS的渐进增长

Tero Karras , Timo Aila , Samuli Laine , Jaakko Lehtinen

ftkarras,taila,slaine,jlehtineng@nvidia.com

摘要：我们为GAN描述了一个新的训练方法。方法的关键创新点就是渐进的让生成器和判别器增长：从一个低分辨率开始，随着训练发展，我们不断添加新层使模型增加更好的细节。这个方法既加速了训练又使训练更加稳定，生成的图片质量史无前例的好，例如：1024*1024大小的CELEBA图片。我们也提出了一个简单的在生成图片的过程中增加变量的方法，并且在无监督数据集CIFAR10上获得了8.80分的记录。另外，我们描述了若干实现细节，这对打压生成器和判别器之间的非健康竞争是非常重要的。最后，我们为评估GAN的图片质量和可变性两项的结果提出了一个新的度量。因为增加项的贡献，我们构建了一个更高质量版本的CELEBA数据集。

1 介绍

我们发现从高维度的数据分布中（例如图片）产生新颖样本的生成式方法正在广泛使用，例如语音合成（van den Oord et al., 2016a），图像到图像的转换（Zhu et al., 2017; Liu et al., 2017）以及图像绘制（Iizuka et al.,2017）。目前最好的方法是自动回归模型（van den Oord et al.,2016b;c），可变自动编码（VAE）（Kingma & Welling, 2014）以及GAN（(Goodfellow et al., 2014）。目前他们都有显著的优势和劣势。自动回归模型–例如PixelCNN–会产生锐化的图片但是评估缓慢并且不具备一个潜在的代表性，因为他们是直接在像素上模型化条件分布，潜在的限制了他们的适用性。VAEs方法训练简单但是由于模型的限制倾向于产生模糊的结果，虽然最近的工作正在改善这个缺点（Kingma et al., 2016）。GANs方法虽然只能在相当小的分辨率并且带有一些限制的可变性分辨率上产生锐化图像，尽管最近有新的进展 (Salimans et al., 2016; Gulrajaniet al., 2017; Berthelot et al., 2017; Kodali et al., 2017)但是在训练上仍然是不稳定的。Hybrid 的方法结合了这三个方法的不同优点，但是目前在图片质量上仍然不如GANs(Makhzani & Frey, 2017; Ulyanov et al.,2017; Dumoulin et al., 2016)。

典型的，一个GAN模型包括两个网络：生成式网络和判别式网络（aka critic）。生成式网络生成一个样本，例如：从一个潜在的代码中生成一副图片，这些生成的图片分布和训练的图片分布是不可分辨的。因为通过创建一个函数来辨别是生成样本还是训练样本一般是不可能的，所以一个判别器网络被训练去做这样一个评估，因为网络是可区分的，所以我们也可以得到一个梯度用来引导网络走到正确的方向。典型的，生成器是主要兴趣方–判别器就是一个适应性的损失函数，即一旦生成器被训练后，这个函数就要被丢弃。

这个公式存在多种潜在的问题。例如：当我们测量训练分布和生成分布之间的距离时，如果分布之间没有大量的很容易分辨的重叠那么梯度可能指出或多或少的随机方向 (Arjovsky& Bottou, 2017)。原来， Jensen-Shannon散度被用作距离度量（Goodfellow et al., 2014），最近这个公式已经被改善（Hjelm et al., 2017）并且大量更多的可选方案被提出，包括least squares (Mao et al., 2016b)，绝对边缘误差（absolute deviation with margin (Zhao et al., 2017)），以及Wasserstein 距离(Arjovsky et al., 2017; Gulrajani et al., 2017)。我们的贡献和目前正在进行的讨论大部分是正交的，并且我们基本使用改善的Wasserstein 损失，但是也有基于least-squares损失的实验。

高分辨率图片的生成是困难的因为更高的分辨率使得判别器更容易分辨是生成的图片还是训练图片（Odena et al., 2017），因此彻底放大了这个梯度问题。由于内存的限制，大分辨率使用更小的minibatches也是需要的，所以要和训练稳定性进行折中。我们的关键亮点在于我们可以同时渐进促进生产器和判别器增长，从比较简单的低分辨率开始，随着训练的发展，不断添加新的层引进更高分辨率细节。这个很大程度上加速了训练并且改善了在高分辨率图片上的稳定性，正如我们在Section 2中讨论的。

GAN公式没有明确要求所有的训练数据分布都由生成的生成式模型来表述。传统方法会在图片质量和可变性之间有一个折中，但是这个观点最近已经改变 (Odena et al., 2017)。保留的可变性的程度目前受到关注并且提出了多种方法去测量可变性，包括初始分数 (Salimans et al., 2016)，多尺度结构相似性 (MS-SSIM) (Odena et al., 2017; Wang et al., 2003)，生日悖论(Arora & Zhang,2017)，以及发现的离散模式的显示测试 (Metz et al., 2016)。我们将在Section 3中描述鼓励可变性的我们的方法，并在 Section 5中提出一个评估质量和可变性的新的度量。

Section 4.1中对网络的初始化讨论了一个细小的修改，使得不同层的学习速度更加平衡。更进一步，我们观察到在十几个minibatches的过程中，GAN会更快速的发生令人讨厌的传统的模式崩塌现象，通常当判别器处理过度时模式崩塌开始，导致梯度过大，并且会在两个网络信号幅度增大的地方伴随着一个不健康的竞争。我们提出了一个机制去阻止生成器参与这样的升级，以克服这个问题 (Section 4.2)。

我们使用CELEBA, LSUN, CIFAR10数据集去评估我们的贡献。对于 CIFAR10我们改善了已经公布的最好的初始分数。因为通常被用于评量标准的生成方法的数据集对于相当低的分辨率来说是受限制的，所以我们已经创建了一个更高质量版本的CELEBA数据集，允许输出分辨率高达 1024 × 1024像素的实验。我们正准备发布这个数据集。我们成果的全部实现在网址https://github.com/tkarras/progressive_growing_of_gans可以获得，带有结果图片的训练网络在 https://drive.google.com/open?id=0B4qLcYyJmiz0NHFULTdYc05lX0U 获得，补充的vidio说明数据集，额外的结果，隐藏的空间插值都在https://youtu.be/XOxxPcy5Gr4。

2 GANs的渐进增长

我们的主要贡献就是GANs的训练方法：从低分辨率图片开始，然后通过向网络中添加层逐渐的增加分辨率，正如Figure 1所示。这个增加的本质使得训练首先发现大尺度结构的图片分布，然后将关注点逐渐的转移到更好尺度细节上，而不是必须同时学习所有的尺度。

我们使用生成器网络和判别器网络作为相互的镜子并且同步促进两者的增长。同时在两个网络中的所有现存的层通过训练进程保持可训练性。当新的层被添加到网络中时，我们平滑的减弱它们，正如Fig2中所解释的。这样就避免了给已经训练好的更小分辨率的层带来突然的打击。附录A从细节上描述生成器网络和判别器网络的结构，并附有其他的训练参数。

我们观察到渐进训练有若干好处。早期，更小图像的生成非常稳定因为分类信息较少而且模式也少（Odena et al.,2017）。通过一点一点的增加分辨率，我们正不断的寻找一个更简单的问题，即：和最终目标进行比较，最终目标：从潜在向量中（例如1024*1024的图片）发现一个匹配。这个方法在概念上类似于最近Chen&Koltun（2017）的工作。在实践上，对于我们来说，它使训练充分稳点，因此在利用WGANGP损失(Gulrajani et al., 2017 )甚至LSGAN损失( Mao et al., 2016b)去合成megapixel-scale图片变得可靠。

另外一个好处是减少了训练时间。随着GANs网络的渐进增长，大部分的迭代都在较低分辨率下完成，对比结果质量加快了2-6倍的速度，这都依赖最后的输出分辨率。

 
Figure1:我们的训练开始于有着一个4*4像素的低空间分辨率的生成器和判别器。随着训练的改善，我们逐渐的向生成器和判别器网络中添加层，因此增加生成图片的空间分辨率。所有现存的层通过进程保持可训练性。这里N×N是指卷积层在N×N的空间分辨率上进行操作。这个方法使得在高分辨率上稳定合成并且加快了训练速度。右图我们展示了六张通过使用在1024 × 1024空间分辨率上渐进增长的方法生成的样例图片。

 
Figure 2:当把生成器和判别器的分辨率加倍时，我们会平滑的增强新的层。这个样例解释了如何从16 × 16像素的图片转换到32 × 32像素的图片。在转换（b）过程中，我们把在更高分辨率上操作的层视为一个残缺块，权重α从0到1线性增长。这里的2× 和 0.5× 指利用最近邻滤波和平均池化分别对图片分辨率加倍和折半。toRGB表示将一个层中的特征向量投射到RGB颜色空间中，fromRGB正好是相反的过程；这两个过程都是利用1 × 1卷积。当训练判别器时，我们插入下采样后的真实图片去匹配网络中的当前分辨率。在分辨率转换过程中，我们在两张真实图片的分辨率之间插值，类似于如何将两个分辨率结合到一起用生产器输出。

这个渐进增长的GANs想法是和课程GANs（无名）相关的，这个想法就是：把多个在不同空间分辨率上操作的判别器和一个单一的生成器连接，进一步的把调整两个分辨率之间的平衡作为训练时间的一个函数。这个想法按照两个方法轮流工作，即Durugkar et al. (2016)提出的同时使用一个生成器和多个判别器的方法以及Ghosh et al. (2017)提出的相反的使用多个生成器和一个判别器的方法。和早期的自适应增长型网络相比，例如：使网络贪婪增长的增长型神经气(Fritzke, 1995)以及增强型拓扑结构的神经进化(Stanley & Miikkulainen, 2002)，我们简单的推迟了预配置层的介入。这种情况下，我们的方法和自动编码的智能层训练(Bengio et al., 2007)相像。

3 使用小批量标准偏差增加可变性

抓取在训练数据中发现的变量的仅一个子集是GANs的一个趋势，Salimans et al. (2016)提出了“minibatch discrimination”作为解决方案。他们不仅从单个图片中而且还从小批量图片中计算特征统计，因此促进了生成的小批量图片和训练图片展示出了相似的统计。这是通过向判别器末端增加一个小批量层来实施，这个层学习一个大的张量将输入激活投射到一个统计数组中。在一个小批量中的每个样例会产生一个独立的统计集并且和输出层连接，以至于判别器可以从本质上使用这个统计。我们大大简化了这个方法同时提高了可变性。

我们的简化的解决方案既没有可学习的参数也没有新的超参数。我们首先计算基于小批量的每个空间位置的每个特征的标准偏差。然后对所有特征和空间位置的评估平均化到一个单一的值。我们复制这个值并且将它连接到所有空间位置以及小批量上，服从一个额外的（不变的）特征映射。这个层可以在网络中的任何地方插入，但是我们发现最好是插入到末端(see Appendix A.1 for details)。我们用一个丰富的统计集做实验，但是不能进一步提高可变性。

针对可变性这个问题另一个解决方案包括：展开判别器(Metz et al., 2016)去正则化它的更新，以及一个 “repelling regularizer” (Zhao et al., 2017)方法,即向生成器中添加一个新的损失项，尝试促进它与一个小批量中的特征向量正交化。Ghosh et al. (2017）提出的多个生成器也满足这样一个相似的目标。我们承认这些解决方案可能会增加可变性甚至比我们的解决方案更多–或者可能与它正交–但是后面留有一个细节性的比较。

4 在生成器和判别器中规范化

由于两个网络之间的不健康的一个竞争结果，GANs往往会有信号幅度升级情况。大多数早期的解决方案并不鼓励这种在生成器以及在判别器中使用批处理正则化的一个变量 (Ioffe & Szegedy, 2015; Salimans & Kingma, 2016; Ba et al., 2016)的方式。这些正则化方法原来是消除协变量偏移的。然而，我们没有观察到在GANs中存在这个问题，因此相信在GANs中需要的是制约信号幅度以及竞争问题。我们使用两个因素且都不包含可学习参数的不同方法。

4.1 调节学习速率

我们脱离了当前谨慎的权重初始化趋势，使用了一个数学上最简单的正太分布N (0; 1)初始化，然后在运行阶段显示缩放权重。为了更精确，我们设置，wi是权重，c是来自于He等的初始化方法 (He et al., 2015)的前一层正则化常量。在初始化过程中动态做这种操作的好处是有一些微妙的，它关系到常规的使用自适应随机梯度下降法例如RMSProp (Tieleman & Hinton, 2012) 和 Adam (Kingma & Ba, 2015)方法保持的尺度不变性。这些方法通过评估标准差正则化一个梯度更新，因此使更新不依赖于参数的变化。结果，如果一些参数相比较其他参数而言有一个更大范围的动态变化，他们将花费更长的时间去调整。这是一个现在初始化问题面临的场景，因此有可能出现在同一时间学习速率既是最大值也是最小值的情况。我们的方法保证了动态范围，因此对于所有权重，学习速度都是一样 的。

4.2 生成器中的pixelwise特征向量归一化

由于竞争的结果，为了防止出现在生成器和判别器中的量级逐渐脱离控制的场景，我们对每个像素中的特征向量进行归一化使每个卷积层之后的生成器中的长度可以单位化。我们只用一个“局部相应正则化” (Krizhevsky et al., 2012)变量，按照公式 配置，其中 N表示特征匹配的数量，ax,y和bx,y分别表示像素（x,y）中的原始和归一化特征向量。我们惊喜的发现这个粗率的限制在任何方式下看起来都不会危害到这个生成器并且对于大多数数据集，它也不会改变太多结果，但是它却在有需要的时候有效的防止了信号幅度的增大。

5 评估GAN结果的多尺度统计相似性

为了把一个GAN的结果和另一个做比较，需要调查大量的图片，这可能是乏味的，困难的并且主观性的。因此依赖自动化方法–从大量的收集图片中计算一些指示性指标 是可取的。我们注意到现存的方法例如MS-SSIM (Odena et al., 2017)在发现大尺度模式的崩塌很可靠，但是对比较小的影响没有反应例如在颜色或者纹理上的损失变化，而且它们也不能直接对训练集相似的图片质量进行评估。

我们的直觉是一个成功的生成器会基于所有尺度，产生局部图像结构和训练集是相似的样例。我们建议通过考虑两个分别来自于生成样例和目标图片的 Laplacian金字塔表示的局部图片匹配分布的多尺度统计相似性，并从 16 × 16像素的低通过分辨率开始，进行学习。随着每一个标准的训练，这个金字塔双倍的渐增知道获得全部分辨率，每个连续的水平的编码都不同于它先前的上采样版本。

一个单一的拉普拉斯金字塔等级对应着一个特定空间频率带。我们随机采样16384 张图片并从拉普拉斯金字塔中的每一级中提取出128个描述符，每一级给我们2.1M描述符。每一个描述符都是带有3个颜色通道的 7 × 7相邻像素，通过 来指定。我们把训练集和生成集中的l级的匹配分别指定为 我们首先标准化 w.r.t.每个颜色通道的均值和标准差，然后通过计算他们的（sliced Wasserstein distance）值评估统计相似性，这是一种有效的使用512个映射 (Rabin et al., 2011)计算随机近似的EMD值（earthmovers distance）的方法。

直观上，一个小的Wasserstein距离表示了块儿间的分布是相似的，意味着训练样例和生成样例在外貌以及空间分辨率的变化上都是相似的。特别是，从最低的分辨率 16 × 16的图片上提取出的块儿集之间的距离表明在大尺度图像结构方面是相似的，然而finest-level的块儿编码了关于像素级属性的信息例如边界的尖锐性和噪声。

6 实验

这部分我们讨论了一系列的实验来评估我们结果的质量。我们的网络结构以及训练编译的细节描述请参考附件A。我们也邀请读着去参阅另外的结果图片的附带视频(https://youtu.be/XOxxPcy5Gr4) 以及隐藏的空间插值。这部分我们将区分网络结构 (e.g., convolutional layers, resizing)，训练编译（不同的正则化层，相关的小批处理操作），以及训练损失 (WGAN-GP, LSGAN)。

6.1 就统计相似性而言本人贡献的重要性

我们首先将使用SWD值和多尺度结构相似性（MSSSIM） (Odena et al., 2017) 去评估我们自己贡献的重要性，也从感知上验证度量本身。我们会在一个先前的最新损失函数 (WGAN-GP)的顶层进行编译并在一个128*128分辨率的 CELEBA (Liu et al., 2015)和LSUN BEDROOM (Yu et al., 2015)的非监督数据集上训练配置 (Gulrajani et al., 2017)。CELEBA 数据集特别适合这样的比较因为这些图片包含 了显著的伪迹（混叠，压缩，模糊），这些伪迹对于生成器来说重新准确的生成式很困难的。在这个测试中，我们通过选择一个相关的低容量网络结构（附件A.2）并且一旦判别器已经展示了总共10M的真实图片时就终止训练的方式来训练配置并放大训练配置间的差异。这样结果就不会全部相同（相似）。

Table 1列出了在若干训练配置中的SWD和MS-SSIM的数值，表明了我们的个人贡献逐渐的使基线的顶部(Gulrajani et al., 2017)一个接一个的成为可能。MS-SSIM个数是平均来自于10000对生成图片，SWD值计算在第5部分描述。Figure 3展示了来自于这些配置的生成的CELEBA图片。由于空间限制，这个图片仅仅展示了每行桌子的一小部分样例，但是在附近H中可以获得一个更广的集合。从直觉上说，一个好的评估标准应该奖励展示出的在颜色，纹理以及角度的大量变量中很相似的图片。然而，这并没有被MS-SSIM捕捉到：我们可以立刻看到配置（h）生成了比配置（a）更好的图片，但是MS-SSIM值保持近似不变因为它仅仅测量输出的变化而不测量输出与训练集的相似性。另一方面，SWD就有一个明显的改善。 
 
Table 1:生成样例和训练样例之间的SWD值（ Sliced Wasserstein distance） (Section 5)和针对设置为 128 × 128分辨率的若干训练集的生成样例之间的多尺度结构相似性 (MS-SSIM)。对于SWD，每一列展示了拉普拉斯金字塔的一个层级，最后一列给出了苏哥距离的平均值。

 
Figure 3: (a) – (g) CELEBA样例对应Table 1中的行。这些是有意不收敛的。（h）我们的收敛结果。注意有些图片是混叠的并且有些图片是非尖锐的–这是一个数据集的缺陷，这种模型会学习如实的复制。

第一个训练配置(a)对应方法Gulrajani et al. (2017)，特征化生成器中的批处理正则化，判别器中的层正则化，并且小批量大小为64。(b)能够使网络渐进增长，导致输出图片更加尖锐更加可信。SWD正确的发现了生成图片的分布于训练集更加相似。

我们的主要目标是输出高分辨率，这就要求减少小批量大小来保证运行在可获得的存储空间预算之内。在（c）中我们说明了将批处理有64降到16时遇到的挑战。在两个度量中可以清楚的看到生成的图片是不自然的。在(d)中，我们通过调整超参数以及移动批处理正则化和层正则化使训练进程稳定。 
作为中间的一个测试(e∗)，我们能够小批量的判别 (Salimans et al., 2016)，有时也不能改善任何度量，包括测量输出变量的MS-SSIM值。相反，我们的小批量标准差 (e) 改善了SWD的平均得分还有图片。然后我们将我们的贡献用于 (f) 和(g)中，导致了在SWD以及主管视觉质量方面的总体改进。最后，在(h)中，我们使用一个非残疾网络以及更长时间的训练–我们认为生成图片的质量可以和目前最好的结果想媲美。

6.2 收敛性以及训练速度

Figure 4 说明了SWD度量的渐进增长的影响以及原始图像的吞吐率。前两个图对应Gulrajani et al. (2017)的带有和不带有渐进增长的训练配置。我们观察到渐进变量提供了两个主要优点：它收敛到一个非常好的最佳值并且总共的训练时间大概减少了一倍。改进的收敛值由课程学习的一个隐形格式来解释，这个课程学习有逐渐增长的网络容量决定。没有渐进增长情况下，生成器和判别器的所有层都要求同时找到简洁的大尺度变化和小尺度细节的中间展示。然而，渐进增长下，现存的低分辨率层可能在早期就已经收敛了，所以网络仅仅要求随着新层的加入，通过增加更小尺度影响得到更精炼的展示。确实，我们在Figure 4(b)中可以看到最大尺度的统计相似性曲线(16)很快的到达了它的优化值并且穿过训练的间断时间保持连续。更小尺度的曲线(32, 64, 128)随着分辨率的增加逐个的趋于平稳，但是每条曲线的收敛性是非常一致的。正如所料，非渐进训练的 
Figure 4(a)中，每个SWD度量的收敛值尺度都是不平稳的。 
 
Figure 4: 在训练速度和收敛性方面渐进增长的影响。使用了一个NVIDIA Tesla P100 GPU测量时间。 (a) 关于Gulrajani et al. (2017)方法提到的挂钟，使用128 × 128分辨率的CELEBA数据集统计相似性。每个曲线都展示了拉普拉斯金字塔每一级的SWD值，垂直的线指示我们在Table 1中停止训练的点。（b）能够渐进增长的相同曲线。短的垂直线指示我们在G和D中双倍增加分别率的点。（c）在1024 × 1024分辨率以原训练速度渐进增长的影响。

6.3 使用CELEBA-HQ数据集生成高分辨率图像

为了证明我们的结果是高输出分辨率，我们需要一个变化充分的高质量数据集。然而，以前在GaN文献中使用的几乎所有公开可用的数据集都局限于相对较低的从32*32 到480*480的分辨率范围。文中末尾，我们创建了一个高质量版本的CELEBA数据集，包含30000张1024 × 1024分辨率的图片。关于数据集生成的进一步细节参考附件C。

我们的贡献允许我们以一个稳健高效的方式处理高分辨率的输出。Figure 5选择了我们的网络生成的1024 × 1024分辨的图片。然而在另一个数据集上 (Marchesi, 2017)，兆像素的GAN结果已经在这之前展示出来了，但我们的结果更加多样化，感知质量也更高。一个更大的结果图像集以及从训练数据中找到的最近邻图像集请参考附件F。附带的视频显示了潜在的空间插值和可视化的循序渐进的训练。插值使我们首先随机化一个每一帧的潜在编码（来自于正太分布N (0; 1)的512个独立的样例组件），然后我们用一个高斯函数 (σ = 45 frames @ 60Hz)跨越时间模糊化潜在特征，最后归一化每个向量到一个单位超球面上。

我们在一块NVIDIA Tesla P100 GPU上训练了20天的网络，直到我们观察不到连续的训练迭代结果之间的质量差异。我们的实施方法被用在一个依赖于当前输出分辨率的自适应小批量大小的网络上使可获得的内存预算被最佳利用。

为了证明我们的贡献在很大程度上和损失函数的选择是正交的，我们也使用 LSGAN 损失来替代WGAN-GP损失训练 了相同的网络。Figure 1展示了使用我们方法和使用 LSGAN方法产生的 1024*1024分辨率的图片中的六个样例，设置的详细细节在附件B中给出。 
 
Figure 5:使用CELEBA-HQ 数据集生成的1024 × 1024分辨率的图片。附件F有更大的结果集，以及潜在空间插值的附带视频。右边，是由Marchesi (2017) 提出的一个更早期的兆像素GAN生成的两幅图片，展示限制的细节以及变化。

 
Figure 6:在 LSUN BEDROOM数据集上的可视化质量比较；图片复制于引用的文章。

6.4 LSUN结果

Figure 6展示了一个纯粹的我们的解决方案和在 LSUN BEDROOM数据集上的早期结果的视觉比较。Figure 7给了被选择的7个不同的LSUN种类的256*256分辨率的样例。附件G中可以获得一个更大的，没有组织的所有30个LSUN种类的结果集，视频证明插值。我们不知道这些种类的早期结果，虽然有些种类比其它的要好，但是我们感觉整体质量是高的。

6.5 CIFAR10 数据集的初始得分

我们知道的CIFAR10(10 categories of 32 × 32 RGB images) 的最好初始得分是：非监督数据集7.9分，带标签条件设置的数据集8.87分(Grinblat et al., 2017)。这两个数字之间的最大差异主要是由 “ghosts”导致的，在非监督环境中它必然出现在类之间，然而在有标签条件时可以移除很多这样的转换。

当我们的所有贡献都成功的时候，我们在非监督环境中会有8.8的得分。附录D显示了一组有代表性的结果图像，以及从早期方法得到的更全面的结果列表。网络和训练设置对CELEBA数据集要求是一样的，当然进程限制为32*32分辨率。仅有的用户化就是WGAN-GP的正则化项 。Gulrajani et al. (2017)使用γ = 1.0，对应1-Lipschitz，但是我们注意到事实上最小化ghosts会使转换 (γ = 750)更好更快。我们还没有用其他数据集尝试这个方法。

7 讨论

我们的结果质量普遍高于先前的在GANs上的质量，并且在大分辨率上的训练稳定，对于真正的真实照片来说还有好长的路。对依赖数据的限制的语义敏感性和理解还有很多需要提高，例如确定的目标是直接可得的而不是间接得到的。图像的微观结构还有改进的余地。就是说，我们觉得 convincing realism现在是可能实现的，特别是CELEBA-HQ。

参考文献

Anonymous. Curriculum training of generative adversarial networks for image generations. Submitted to ICLR 2018.

Martin Arjovsky and Leon Bottou. Towards principled methods for training generative adversarial ´networks. In ICLR, 2017.

Martin Arjovsky, Soumith Chintala, and Leon Bottou. Wasserstein GAN. ´ CoRR, abs/1701.07875,2017.

Sanjeev Arora and Yi Zhang. Do GANs actually learn the distribution? an empirical study. CoRR,abs/1706.08224, 2017.

Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. CoRR,abs/1607.06450, 2016.

Yoshua Bengio, Pascal Lamblin, Dan Popovici, and Hugo Larochelle. Greedy layer-wise training of deep networks. In P. B. Scholkopf, J. C. Platt, and T. Hoffman (eds.), ¨ NIPS, pp. 153–160. 2007.

David Berthelot, Tom Schumm, and Luke Metz. BEGAN: Boundary equilibrium generative adversarial networks. CoRR, abs/1703.10717, 2017.

Peter J. Burt and Edward H. Adelson. Readings in computer vision: Issues, problems, principles,and paradigms. chapter The Laplacian Pyramid As a Compact Image Code, pp. 671–679. 1987.

Qifeng Chen and Vladlen Koltun. Photographic image synthesis with cascaded refinement networks.CoRR, abs/1707.09405, 2017.

Zihang Dai, Amjad Almahairi, Philip Bachman, Eduard H. Hovy, and Aaron C. Courville. Calibrating energy-based generative adversarial networks. In ICLR, 2017.

Emily L. Denton, Soumith Chintala, Arthur Szlam, and Robert Fergus. Deep generative image models using a Laplacian pyramid of adversarial networks. CoRR, abs/1506.05751, 2015.

Vincent Dumoulin, Ishmael Belghazi, Ben Poole, Alex Lamb, Martin Arjovsky, Olivier Mastropietro, and Aaron Courville. Adversarially learned inference. CoRR, abs/1606.00704, 2016.

Ishan P. Durugkar, Ian Gemp, and Sridhar Mahadevan. Generative multi-adversarial networks.CoRR, abs/1611.01673, 2016.

Bernd Fritzke. A growing neural gas network learns topologies. In G. Tesauro, D. S. Touretzky, and T. K. Leen (eds.), Advances in Neural Information Processing Systems 7, pp. 625–632. 1995.

Arnab Ghosh, Viveka Kulharia, Vinay P. Namboodiri, Philip H. S. Torr, and Puneet Kumar Dokania. Multi-agent diverse generative adversarial networks. CoRR, abs/1704.02906, 2017.

Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative Adversarial Networks. In NIPS, 2014.

Guillermo L. Grinblat, Lucas C. Uzal, and Pablo M. Granitto. Class-splitting generative adversarial networks. CoRR, abs/1709.07359, 2017.

Ishaan Gulrajani, Faruk Ahmed, Mart´ın Arjovsky, Vincent Dumoulin, and Aaron C. Courville. Improved training of Wasserstein GANs. CoRR, abs/1704.00028, 2017.

Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. CoRR, abs/1502.01852, 2015.

R Devon Hjelm, Athul Paul Jacob, Tong Che, Kyunghyun Cho, and Yoshua Bengio. BoundarySeeking Generative Adversarial Networks. CoRR, abs/1702.08431, 2017.

Xun Huang, Yixuan Li, Omid Poursaeed, John E. Hopcroft, and Serge J. Belongie. Stacked generative adversarial networks. CoRR, abs/1612.04357, 2016.

Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. Globally and locally consistent image completion. ACM Trans. Graph., 36(4):107:1–107:14, 2017.

Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. CoRR, abs/1502.03167, 2015.

Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.

Diederik P Kingma, Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, and Max Welling. Improved variational inference with inverse autoregressive flow. In NIPS, volume 29, pp. 4743–4751. 2016.

Naveen Kodali, Jacob D. Abernethy, James Hays, and Zsolt Kira. How to train your DRAGAN. CoRR, abs/1705.07215, 2017.

Dmitry Korobchenko and Marco Foco. Single image super-resolution using deep learning, 2017.

URL https://gwmt.nvidia.com/super-res/about. Machines Can See summit.

Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, pp. 1097–1105. 2012.

Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew P. Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, and Wenzhe Shi. Photo-realistic single image super-resolution using a generative adversarial network. CoRR, abs/1609.04802, 2016.

Ming-Yu Liu, Thomas Breuel, and Jan Kautz. Unsupervised image-to-image translation networks. CoRR, abs/1703.00848, 2017.

Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Deep learning face attributes in the wild. In ICCV, 2015.

Alireza Makhzani and Brendan J. Frey. PixelGAN autoencoders. CoRR, abs/1706.00531, 2017.

Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang. Image restoration using convolutional autoencoders with symmetric skip connections. CoRR, abs/1606.08921, 2016a.

Xudong Mao, Qing Li, Haoran Xie, Raymond Y. K. Lau, and Zhen Wang. Least squares generative adversarial networks. CoRR, abs/1611.04076, 2016b.

Marco Marchesi. Megapixel size image creation using generative adversarial networks. CoRR, abs/1706.00082, 2017.

Luke Metz, Ben Poole, David Pfau, and Jascha Sohl-Dickstein. Unrolled generative adversarial networks. CoRR, abs/1611.02163, 2016.

Augustus Odena, Christopher Olah, and Jonathon Shlens. Conditional image synthesis with auxiliary classifier GANs. In ICML, 2017.

Tim Salimans and Diederik P. Kingma. Weight normalization: A simple reparameterization to accelerate training of deep neural networks. CoRR, abs/1602.07868, 2016.

Tim Salimans, Ian J. Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training GANs. In NIPS, 2016.

Kenneth O. Stanley and Risto Miikkulainen. Evolving neural networks through augmenting topologies. Evolutionary Computation, 10(2):99–127, 2002.

Tijmen Tieleman and Geoffrey E. Hinton. Lecture 6.5 - RMSProp. Technical report, COURSERA: Neural Networks for Machine Learning, 2012.

Dmitry Ulyanov, Andrea Vedaldi, and Victor S. Lempitsky. Adversarial generator-encoder networks. CoRR, abs/1704.02304, 2017.

Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, ¨ Nal Kalchbrenner, Andrew W. Senior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio. CoRR, abs/1609.03499, 2016a.

Aaron van den Oord, Nal Kalchbrenner, and Koray Kavukcuoglu. Pixel recurrent neural networks. ¨ In ICML, pp. 1747–1756, 2016b.

Aaron van den Oord, Nal Kalchbrenner, Oriol Vinyals, Lasse Espeholt, Alex Graves, and Koray ¨Kavukcuoglu. Conditional image generation with PixelCNN decoders. CoRR, abs/1606.05328,2016c.

Zhou Wang, Eero P. Simoncelli, and Alan C. Bovik. Multi-scale structural similarity for image quality assessment. In Proc. IEEE Asilomar Conf. on Signals, Systems, and Computers, pp.1398–1402, 2003.

David Warde-Farley and Yoshua Bengio. Improving generative adversarial networks with denoising feature matching. In ICLR, 2017.

Jianwei Yang, Anitha Kannan, Dhruv Batra, and Devi Parikh. LR-GAN: layered recursive generative adversarial networks for image generation. 2017.

Fisher Yu, Yinda Zhang, Shuran Song, Ari Seff, and Jianxiong Xiao. LSUN: Construction of a large-scale image dataset using deep learning with humans in the loop. CoRR, abs/1506.03365,2015.

Junbo Jake Zhao, Michael Mathieu, and Yann LeCun. Energy-based generative adversarial network. In ICLR, 2017.

Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. CoRR, abs/1703.10593, 2017.