变分自编码器（Variational Autoencoder, VAE）学习笔记

最新推荐文章于 2024-05-05 16:08:18 发布

007不打工人

最新推荐文章于 2024-05-05 16:08:18 发布

阅读量110

点赞数

文章标签：学习笔记

本文链接：https://blog.csdn.net/qq_31763735/article/details/105930926

版权

本文主要是参照苏大神的博客变分自编码器（一）：原来是这么一回事 - 科学空间|Scientific Spaces记录的学习笔记，因为VAE很不好懂，数学概率比较多，所以特意记录一下看看自己到底有没有看明白VAE.

符号说明

真实数据：, $\left\{ {{X_1},{X_2}, \ldots ,{X_n}} \right\}$ ；

样本的分布： $P\left( X \right)$ ;

潜变量：

从潜变量采样生成的数据 $\hat X$

VAE的传统理解

当我们有一批数据样本时，我们希望根据 $\left\{ {{X_1},{X_2}, \ldots ,{X_n}} \right\}$ 得到的分布 $p\left( X \right)$ ，那样就可以根据 $p\left( X \right)$ 来采样，生成所有的可能的样本。但是根据 $\left\{ {{X_1},{X_2}, \ldots ,{X_n}} \right\}$ 得到的分布 $p\left( X \right)$ 过于理想，通过条件概率 $p\left( X \right) = \sum\limits_Z {p\left( {X|Z} \right)p\left( Z \right)}$ 可以转化这个问题，即由潜变量来生成的模型。在VAE中假定潜变量服从标准正态分布，即 $p\left( Z \right) \sim N\left( {0,I} \right)$ ，先从标准正态分布中采样一个，然后根据来生成一个,如下图所示，在苏大神的博客中就明确指出这种理解是不正确的，因为我们无法知道重新采样出来的 ${Z_k}$ 是不是对应着原来的 ${X_k}$ ，这样如果直接最小化真实数据 ${X_k}$ 和生成数据 ${\hat X_k}$ 之间的距离就是不合理的。

苏大神的理解

苏大神明确指出，在整个VAE模型中，我们并没有使用潜变量是正态分布的假设，而是假设后验分布 $p\left( {Z|X} \right)$ 是正态分布。具体而言，就是对于一个真实样本，我们假设存在一个专属于的分布，并且假设这个分布式独立的多元的正态分布，这样从这个分布采样得到的生成的数据就对应着，这样有多少个就有多少个正态分布

007不打工人

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
变分自编码器（Variational Autoencoder, VAE）学习笔记

本文主要是参照苏大神的博客https://kexue.fm/archives/5253记录的学习笔记，因为VAE很不好懂，数学概率比较多，所以特意记录一下看看自己到底有没有看明白VAE.符号说明真实数据：,；样本的分布：;潜变量：从潜变量采样生成的数据VAE的传统理解当我们有一批数据样本时，我们希望根据得到的分布，那样就可以根据来采样，生成所有的可能的样本。但是根据得到...
复制链接

扫一扫