CVPR2021 P2GAN：提高图像风格迁移的鲁棒性

1 前言

该论文是关于GAN图像生成类的文章出自于大连理工大学并发表于CVPR2021。GAN生成能力最关键的一环在于模型利用真实数据的信息量的多少，但是GAN及其相应的变体因为利用的信息量比较单薄，所以会导致模型在训练的过程中非常脆弱，容易导致模型崩塌。

为了解决这个问题，论文中作者提出了一种新的GAN的框架 ，不同于以往的GAN的判别器将样本映射为判别真假的概率值，该论文中判别器将输入样本映射成为高斯分布因子，借此充分的提取真实分布信息，作者从理论实验两方面验证了 的有效性。论文中的作者还引入了很多个小技巧来文本GAN模型训练的过程。

论文：https://openaccess.thecvf.com/content/CVPR2021/papers/

项目：https://github.com/bioinf-jku/TTUR

论文出自大连理工大学研究团队。

2 预备知识

2.1 LSGAN

与最初的 不同， 采用最小二乘法作为损失函数。它惩罚那些远离决策边界的样本，这些样本可以执行更稳定的学习过程。本文中的 以 的损失函数为基础，其中目标函数为：

其中 是真实图像的分布， 是生成图像的分布。 和 分别表示假数据和真实数据的标签，而 表示生成器 希望判别器 相信假数据的值。

2.2 AdaIN

是针对风格传递提出的，它可以将外部风格的图像信息融合到归一化中。给定第 个卷积特征 ， 通过实例归一化 对 进行归一化，然后使用 在样式特征 上提供的相应均值和方差对其进行缩放和偏置。该操作被定义为:

在该论文中，作者使用 层将真实信息应用于生成器。

2.3 参数化

参数化技巧主要用在变分推理中梯度下降中，通过得到了多元高斯分布的因子，就可以通过参数化技巧生成该分布的样本。作者从标准高斯 中采样一个随机噪声 ，然后从特定的多元高斯分布中采样可以是:

其中 和 分别是高斯分布的参数。

3 模型方法

由于本论文的数学符号过多，为了能够清晰的辨识，我将论文中的数学符号整理成下表。

如下图所示为 的模型结构图。判别器将图像作为输入，并输出多元高斯分布的因子 和 。生成器在训练过程中借助于后验模块和 从随机噪声 和后验向量 中产生图像。

3.1 分布度量 

假设： 和 是通过参数化技巧从两个不同的一维高斯分布 和