Progressive Growing of GANs for Improved Quality, Stability, and Variation论文阅读笔记

题目: Progressive Growing of GANs for Improved Quality, Stability, and Variation

摘要:贡献了新的数据集celebA-HQ

• 我们描述了一种生成对抗网络的新训练方法。关键思想是逐渐增加生成器和鉴别器：从低分辨率开始，我们添加新的层，以随着训练的进行而对越来越精细的细节进行建模。这样既可以加快训练速度，又可以大大提高训练的稳定性，使我们可以生成前所未有的图像质量，例如1024*1024的CELEBA图像。我们还提出了一种简单的方法来增加生成图像的差异，并在无监督的CIFAR10中达到创纪录的初始得分8.80。此外，我们描述了一些实现细节，对于抑制生成器和区分器之间的不健康竞争非常重要。最后，我们建议使用一种新的指标来评估GAN结果，包括图像质量和变化。作为补充，我们构建了CELEBA数据集的更高质量版本。
  

celebA-HQ的生成

• 为了在高输出分辨率下有意义地证明我们的结果，我们需要足够多样化的高质量数据集。但是，实际上，以前在GANliterature中使用的所有公开可用的数据集都限于相对较低的分辨率，范围为322至4802。为此，我们创建了高质量版本的CELEBA数据集，其中包含30000张分辨率为1024×1024的图像。有关此数据集的生成的更多详细信息，请参阅附录C。
  

使用CELEBA-HQ数据集生成的1024×1024图像。有关更多结果的信息，请参见附录F；有关潜在空间插值的信息，请参见随附的视频。

• 在本节中，我们描述用于创建高质量版本的CELEBA数据集的过程，该过程由30000张分辨率为1024×1024的图像组成。首先，我们将原始CELEBA数据集中包含的野生图像集合。这些图像在分辨率和视觉质量方面差异极大，范围从43×55到6732×8984。其中一些人显示有几个人的人群，而另一些人则专注于单身人士的脸-通常只是脸部的一部分。因此，我们发现有必要应用几个图像处理步骤以确保一致的质量并使图像位​​于面部区域的中心。我们的处理流程如图8所示。为了提高整体图像质量，我们使用两个图像对每个JPEG图像进行预处理预训练神经网络：经过卷积自动编码器训练以去除自然图像中的JPEG伪影，其结构与Mao等人（2016a）所提出的结构类似，以及经过对抗训练的4x超分辨率网络（Korobchenko＆Foco，2017）给Ledig等。 （2016）。为了处理面部区域延伸到图像外部的情况，我们使用填充和滤波来扩展图像的尺寸，如图8（c–d）所示。然后，根据原始CELEBA数据集包含的面部标志注释选择定向的裁剪矩形
  

8：创建CELEBA-HQ数据集。我们从CelebA野生数据集中的JPEG图像（a）开始。我们通过去除JPEG瑕疵（b，中间）和4倍超分辨率（b，底部）来改善视觉质量（b，顶部）。然后，我们通过镜面填充（c）和高斯滤波（d）扩展图像，以产生视觉上令人愉悦的景深效果。最后，我们使用面部地标定位来选择合适的作物区域（e），并执行高质量的重采样以获得1024×1024分辨率（f）的最终图像。

• e0，e1，m0和m1分别代表两个眼睛界标和两个嘴部界标的2D像素位置，可以指示所需裁剪矩形的中心和大小，并可以x指示其方向。我们凭经验构造了上述公式，以确保从不同角度观看脸部时，裁剪矩形保持一致。一旦计算出裁剪矩形，就可以使用双线性过滤将矩形转换为4096×4096像素，然后使用盒式滤镜将其缩放为1024×1024分辨率。
• 我们对数据集中的所有202599张图像执行上述处理，进一步分析所得的1024×1024张图像以估计最终图像质量，对图像进行相应排序，并丢弃除30000张图像以外的所有图像。我们使用基于频率的质量度量标准，该模型优先考虑功率谱包含宽范围频率且近似于径向对称的图像，这会对模糊图像以及由于可见的半色调图案而具有明显方向特征的图像造成不利影响。我们选择了30000张图像的临界点作为变化和图像质量之间的最佳平衡点，因为它似乎产生了最佳效果。

---

以上就是celebA-HQ数据集的生成过程,并且生成的人脸是对齐的.