1 前言
该论文是关于GAN图像生成类的文章出自于大连理工大学并发表于CVPR2021。GAN生成能力最关键的一环在于模型利用真实数据的信息量的多少,但是GAN及其相应的变体因为利用的信息量比较单薄,所以会导致模型在训练的过程中非常脆弱,容易导致模型崩塌。
为了解决这个问题,论文中作者提出了一种新的GAN的框架 ,不同于以往的GAN的判别器将样本映射为判别真假的概率值,该论文中判别器将输入样本映射成为高斯分布因子,借此充分的提取真实分布信息,作者从理论实验两方面验证了 的有效性。论文中的作者还引入了很多个小技巧来文本GAN模型训练的过程。
论文:https://openaccess.thecvf.com/content/CVPR2021/papers/
项目:https://github.com/bioinf-jku/TTUR
论文出自大连理工大学研究团队。
2 预备知识
2.1 LSGAN
与最初的 不同, 采用最小二乘法作为损失函数。它惩罚那些远离决策边界的样本,这些样本可以执行更稳定的学习过程。本文中的 以 的损失函数为基础,其中目标函数为:
其中 是真实图像的分布, 是生成图像的分布。 和 分别表示假数据和真实数据的标签,而 表示生成器 希望判别器 相信假数据的值。2.2 AdaIN
是针对风格传递提出的,它可以将外部风格的图像信息融合到归一化中。给定第 个卷积特征 , 通过实例归一化 对 进行归一化,然后使用 在样式特征 上提供的相应均值和方差对其进行缩放和偏置。该操作被定义为:
在该论文中,作者使用
层将真实信息应用于生成器。
2.3 参数化
参数化技巧主要用在变分推理中梯度下降中,通过得到了多元高斯分布的因子,就可以通过参数化技巧生成该分布的样本。作者从标准高斯 中采样一个随机噪声 ,然后从特定的多元高斯分布中采样可以是:
其中 和 分别是高斯分布的参数。
3 模型方法
由于本论文的数学符号过多,为了能够清晰的辨识,我将论文中的数学符号整理成下表。
如下图所示为 的模型结构图。判别器将图像作为输入,并输出多元高斯分布的因子 和 。生成器在训练过程中借助于后验模块和 从随机噪声 和后验向量 中产生图像。
3.1 分布度量
假设: 和 是通过参数化技巧从两个不同的一维高斯分布 和