【GANs】Wasserstein GAN

4 W-GAN

在生成对抗网络中，$JS$散度不适合衡量生成数据分布和真实数据分布的距离。由于通过优化交叉熵（$JS$散度）训练生成对抗网络会导致训练稳定性和模型坍塌问题，因此改进GAN，就需要改变其损失函数。

4.1 W-GAN简介

Wasserstein GAN原文链接

W-GAN通过使用$Wasserstein$距离代替优化$JS$散度来优化训练的生成对抗网络。
对于真实分布$p_r$和模型分布$p_{\theta }$，他们的$1st-Wasserstein$距离为：
$$\begin{array}{r}{\mathbf{W}}^1(p_r,p_{\theta })=\underset{\gamma \sim \Gamma (p_r,p_{\theta })}{\inf }{\mathrm{E}}_{(x,y)\sim \gamma }\left[\Vert x-y\Vert \right]\end{array}$$
其中$\Gamma (p_r,p_{\theta })$是边界分布为$p_r$和$p_{\theta }$的所有可能的联合分布集合。

当两个分布没有重叠或者重叠非常少时，他们之间的$KL$散度为$+\infty$，$JS$散度为$log2$，并不随着两个分布之间的距离而变化。而$1st-Wasserstein$距离依然可以衡量两个没有重叠分布之间的距离。

两个分布$p_r$和$p_{\theta }$的$1st-Wasserstein$距离通常难以直接计算，但是两个分布的$1st-Wasserstein$距离有一个对偶形式：
$$\begin{array}{r}{\mathbf{W}}^1(p_r,p_{\theta })=\underset{{\Vert f\Vert }_L\le 1}{\sup }\left({\mathrm{E}}_{x\sim p_r}\left[f(x)\right]-{\mathrm{E}}_{x\sim p_{\theta }}\left[f(x)\right]\right)\end{array}$$
其中$f:{\mathbb{R}}^d\to \mathbb{R}$为$1-Lipschitz$函数,满足：
∥ f ∥ L ≤ 1 ≜ sup ⁡ x ≠ y ∣ f ( x ) − f ( y ) ∣ ∣ x − y ∣ ⩽ 1