[论文笔记] Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis

作者单位：北大，加利福尼亚大学
CVPR2019
源码

Abstract

针对cGAN输出样本的多样性问题（也是著名的mode collapse问题 ），文章给出的解决方法是在损失函数上加入一个简单的正则项mode seeking regularization term，其主要思想是最大化输出图像之间的距离 与 对应latent code之间的距离 的比值。

Motivation

来看看作者是如何对文章的motivation作出解释的，如下图所示。

1、网络输入为 lantent code z 采样于分布Latent space Z，如黄色曲线所示，一般为高斯分布；
2、真实数据对应分布为最左边的灰色曲线，共有5个峰，其中每一个峰对应于一个Mode；
3、网络发生mode collapse时，对应的输出分布为中间的蓝色曲线，可以看到只有两个峰了，即说明输出图像的多样性相比真实数据降低了。
4、右边的绿色曲线是文章提出的改进方法对应的输出分布，可以看到曲线接近于真实数据分布，说明输出图像的多样性相比起原网络有提高。即有效降低了code collapse 的影响。
** 图中的关键点在于最右边的虚线框中计算的内容：
$$\frac{d_I}{d_z(z_a,z_b)}$$