变分自编码器（Variational Auto Encoder）总结

最新推荐文章于 2024-05-05 16:08:18 发布

taoqick

最新推荐文章于 2024-05-05 16:08:18 发布

阅读量565

点赞数 1

分类专栏：机器学习文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/taoqick/article/details/121319412

版权

机器学习专栏收录该内容

73 篇文章 0 订阅

订阅专栏

假设数据 x_i 由一个随机过程产生，该随机过程分为两步：先由先验分布 $P_{\theta}(z)$ 产生隐藏变量 z_i ；再由条件分布 $P_{\theta}(x|z_i)$ 产生数据，下图(a)是这个随机过程的图模型。然而，直接求 $P_{\theta}(x_i)=\int P_{\theta}(x_i|z)P_{\theta}(z)dz$ 由于某些z导致 $P_{\theta}(x_i|z)$ 比较小，而且x维度比较高，所以预估不准，所以弄一个 $Q_{\phi}(z|x_i)$ 来近似 $P_{\theta}(x_i|z)$ ，怎么近似呢？通过下面这个公式来优化下界

$logP_{\theta}(x_i) \geq E[logP_\theta(x_i|z)]-KL(Q_\phi(z|x_i) || P_\theta(z))$

这部分叫变分推断，只要理解KL散度的定义和贝叶斯公式就很容易推导，把 $Q_\phi(z|x_i)$ 假设成一个标准的正态分布。如果所有的 p(Z|X) 都很接近标准正态分布 N(0,I)，那么根据定义，P(z)也就成标准正态分布了。

那怎么让所有的 p(Z|X) 都向 N(0,I) 看齐呢？

所以，引入 $\varepsilon$ 以后，图(b)就开始变成了图(c)，求逼近函数 $Q_\phi(z|x_i)$ 的过程可以在引入 $\varepsilon$ 后开始利用神经网络反向传播，其中x是已有训练数据， $\phi$ 是公式 $Q_\phi(z|x_i)$ 待求的参数， $\varepsilon$ 是标准正态分布的随机抽样。有了 $Q_\phi(z|x_i)$ 以后，就可以按照 $P_{\theta}(x|z_i)$ 作为解码器来生成新的样本。

鸣谢：

1. 变分自编码器VAE：原来是这么一回事 | 附开源代码 - 知乎

2. 葫芦书
3. 如何简单易懂地理解变分推断(variational inference)？ - 知乎

taoqick

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
变分自编码器（Variational Auto Encoder）总结

假设数据由一个随机过程产生，该随机过程分为两步：先由先验分布产生隐藏变量；再由条件分布产生数据。图4.4（a）是这个随机过程的图模型。这里的参数可以通过最大化数据似然来求得：...
复制链接

扫一扫

专栏目录