2019.12的对styleGA进一步改善的论文,还是NVIDIA的。这篇论文主要从结构设计和训练方式上进行了改变,从而消除styleGAN中出现的artifacts。本文针对的artifacts主要两类:1)成水滴状的/blob-like artifacts:主要与结构设计有关,因此本文更改了normalize;2)与progressive growing的训练方法相关,因此本文更改了训练方式。
第一种artifacts呈现水滴形的模糊块,在生成图像中看起来尚不明显时在中间层的特征上就很清楚了。这种artifacts通常从64*64分辨率开始出现在每一张特征图上,并随着分辨率增加变得明显。具体如下图所示:
本文认为这种现象和styleGAN的生成器中的normalization有关,因为normalize调整了feature maps的统计信息,通过这种信号强度高的水滴块,生成器可以躲避复杂的数据生成,直接调整feature maps的统计信息。文中认为,AdaIN中的normalization是对每一个feature map单独操作的,损害了特征间的信息。博客:https://blog.csdn.net/WinerChopin/article/details/103538073 提出的看法是,AdaIN的normalization在feature maps间是独立的,但modulation又是所有feature maps共享参数&#x