这篇论文来自2019CVPR,用以解决conditional GAN中的mode collapse问题,改善图像生成的多样性。
mode collapse是指生成的图像多样性较差,非常接近数据集中的某一种,以试图蒙骗判别器。产生原因是:数据集中的图像可分为多个mode(其实就是几大类),有的mode中的图像比较多,称为large mode,有的称为small mode。对应到分布中,就是large mode是比较高的峰值,而small mode对应较低的峰值,采样可能性更小。因此如果生成large mode的图像,会产生更大的梯度,便于优化目标函数,同时也可以骗过判别器,因此生成器就会越来越趋向于生成large mode中的图像。可以结合下图理解:
上图中的就表示mode,其中的
就是small mode,
可以看作large mode。
目前mode collapse的解决方法主要是针对GAN的,有两大类: