CVPR2020之MSG-GAN：简单有效的SOTA

点击上方“机器学习与生成对抗网络”，关注"星标"

获取有趣、好玩的前沿干货！

 今天不知在哪儿、看到了说这篇MSG-GAN已被CVPR2020接收，其实去年2019年5月还是6月我就看到它了，当时试跑了一下开源的代码，印象中效果不错。今天就极简分享一下。

另外，昨天受邀开通了付费阅读功能，哈哈，看到一些大V已经开始尝鲜了。我也只是想尝尝鲜，看看这功能咋用的，大家别说我哈  ，正文已全部展示，应该不会影响阅读的~ 哈哈哈   

MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis

https://arxiv.xilesou.top/pdf/1903.06048.pdf

https://github.com/ akanimax/msg-stylegan-tf

                           

 生成对抗网络（GAN）及其变体在图像合成任务取得了巨大成功，但众所周知，它们很难适应不同的数据集，部分原因是训练期间不稳定和对超参数敏感。对于这种不稳定，一种普遍的观点是：当真实分布和生成分布的支撑集不够重叠时，鉴别器反馈给生成器的梯度是无法提供有益的信息的。

 

在这项工作中，提出了多尺度梯度生成对抗网络（MSG-GAN），一种简单但有效的手段，通过在多个尺度上从鉴别器到生成器提供梯度。这可为高分辨率图像合成提供了一种稳定训练的方法，也可以替代常用的渐进式生长的ProGAN。作者表明MSG-GAN在不同的尺寸、分辨率和图像域的数据集，以及不同类型的损失函数和网络结构下，都可以使用相同的一组超参数稳定收敛。与先进的GAN相比，该方法在大多数情况下具有优势。

 

方法还是非常简明易懂的，网络结构如下：

 

实现细节：

其中，所使用的数据集如上所示，其中， 3千Indian Celebs为作者自制。对每种数据集，都是从高斯分布采样512维噪声去生成。更详细的参数设置可参考原文。

 

实验：

在256X256图像上：

在1024X1024图像上：

 

 

 

对学习率的鲁棒性实验：

 

不同尺寸层面连接提供梯度的消融探究、损失函数探究：

 

一些局限：

使用渐进逐步训练（ProGAN那种），在较低的分辨率下训练迭代速度更快，而MSG-GAN的每次迭代都需要相同的时间。

 

在FFHQ和CelebAHQ的人脸数据集上，没有超过StyleGAN的生成质量。造成这种情况的原因很多，其中包括超参数选择不当，或者StyleGANs架构更适合这些数据集。

 

此外，由于在MSGStyleGAN中进行了多尺度修改，因此方法无法利用mixing regularization trick [14]。

---