VAE与GAN的关系(2)

最新推荐文章于 2024-07-25 15:47:54 发布

田神

最新推荐文章于 2024-07-25 15:47:54 发布

阅读量1.4k

点赞数

分类专栏：机器学习与神经网络文章标签： GAN VAE

本文链接：https://blog.csdn.net/StreamRock/article/details/81734864

版权

本文探讨了VAE和GAN两种生成模型的损失函数推导，指出两者可在KL散度统一框架下讨论，并有相似出发点，但因隐变量设计不同导致训练和效果区别。GAN衡量样本与真实数据的分布差异，而VAE关注Auto-Encoder的重构误差。文章提出结合两者的可能性。

摘要由CSDN通过智能技术生成

上文从 $KL(q(\mathbf x, y)\Vert p(\mathbf x, y))$ 推导出GAN的两个Loss，并给出生成器Loss的正则项设计思路，接下来我们仍从引入隐变量构成联合概率分布角度，推导VAE的Loss。
首先，我们观察 $KL(p(\mathbf x, \mathbf z)\Vert q(\mathbf x, \mathbf z))$ 有：

K L (p (x, z) ‖ q (x, z)) = K L (p (x) ‖ q (x)) + \int p (x) K L (p (z | x) ‖ q (z | x)) d x \geq K L (p (x) ‖ q (x)) (1)

$KL(p(\mathbf x, \mathbf z)\Vert q(\mathbf x, \mathbf z)) = KL(p(\mathbf x)\Vert q(\mathbf x)) + \int p(\mathbf x)KL(p(\mathbf z \vert \mathbf x) \Vert q(\mathbf z \vert \mathbf x))d\mathbf x \\ \ge KL(p(\mathbf x)\Vert q(\mathbf x)) \qquad(1)$
即