GAN的Loss的比较研究（4）——Wasserstein Loss理解（2）

最新推荐文章于 2024-08-05 16:15:00 发布

田神

最新推荐文章于 2024-08-05 16:15:00 发布

阅读量5.7k

点赞数 2

分类专栏：机器学习与神经网络文章标签： GAN

本文链接：https://blog.csdn.net/StreamRock/article/details/81153346

版权

本文深入探讨了Wasserstein Distance在生成对抗网络（GAN）中的作用，尤其是其在BEGAN（Boundary Equilibrium GAN）中的收敛性和效果。通过对比不同的计算方法，指出Wasserstein Loss在没有Lipschitz条件约束时可能导致生成器无法收敛的问题。BEGAN通过使用Auto-Encoder作为判别器，降低了分布维度并可能实现分布的重叠，从而促进生成器的收敛。此外，反馈比例控制也是BEGAN保持多样性并收敛的重要手段。

摘要由CSDN通过智能技术生成

关于Wasserstein Distance的计算，似乎还有一个简单一点的推导方法，在《BEGAN: Boundary Equilibrium Generative Adversarial Networks》中给出了一个推导的过程：
Wasserstein Distance的定义式如下：

W (ℙ r, ℙ g) = inf γ \in Π (ℙ r, ℙ g) E (x, y) \sim γ [‖ x - y ‖] (1)

$W(\mathbb P_r, \mathbb P_g)=\inf_{\gamma \in \Pi(\mathbb P_r, \mathbb P_g)} \mathbf E_{(x,y) \sim \gamma} [\Vert x-y \Vert] \qquad(1)$
根据Jensen不等式有：

inf E [| x 1 - x 2 |] \geq inf | E [x 1 - x 2] | = | E (x 1) - E (x 2) | (2)

$\inf \mathbf E[\vert x_1 - x_2 \vert] \ge \inf \mathbf \vert \mathbf E[ x_1- x_2] \vert =\vert \mathbf E( x_1) - \mathbf E( x_2) \vert \qquad(2)$
于是代入（1）有：