[解读] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks

尽管生成对抗网络 (GANs) 在图像合成任务中取得了巨大成功, 但它们在适应不同数据集方面却异常困难, 部分原因是训练期间的不稳定以及对超参数的敏感性. 引起这种不稳定的一个普遍认为的原因是, 当真实和生成分布的支撑没有足够的重叠时, 从鉴别器到生成器的梯度将变得无用. 本文提出了多尺度梯度生成对抗网络(MSG-GAN), 这是一种简单但有效的技术, 通过允许从鉴别器到生成器的梯度流向多个尺度来解决此问题, 该技术为高分辨率图像合成提供了一种稳定的方法, 并且可以替代常用的渐进式生长技术. 实验表明 MSG-GAN 在各种大小, 分辨率和域以及各种类型的损失函数和体系结构的图像数据集上稳定收敛, 与最先进的 GAN 相比, 在大多数情况下都达到或超过了性能.

论文链接: https://arxiv.org/abs/1903.06048v3

相关工作

在训练 GAN 的过程中常遇到的一个问题是训练不够稳定, 本文提出了一种方法, 通过研究如何使用多个尺度的梯度来生成高分辨率图像 (由于数据维数而更具挑战性), 而无需依靠先前的贪婪方法 (例如渐进式生长技术[13, 14]), 来解决图像生成任务的训练不稳定性.

本文方法

如下图所示:

左半部分是生成器, 右半部分是鉴别器. 在生成器中, 粉色的方块是特征图, 将特征图通过 $1\times 1$ 的卷积核来生成下面的图像, 将这些图像传递到鉴别器中对应尺度的位置, 按照下面定义的 $\varphi$ 函数进行结合:

其中 $x_1$ 是指从生成器得到的图像, 正如流程图所示, 这个图像也可以是对真是图像经过降采样得到的. $r^{\prime }$ 是 $1\times 1$ 的卷积操作. $x_2$ 是指原本鉴别器中的特征图. 经过实验表明 ${\varphi }_{\text{simple}}$ 生成样本质量要更好一些.

参考

• [13 ]Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive growing of GANs for improved quality, stability, and variation. In ICLR, 2018.
• [14] Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. In CVPR, pages 4401–4410, 2019.