VAE到CVAE

最新推荐文章于 2024-06-27 17:14:30 发布

iiiKyriemee

最新推荐文章于 2024-06-27 17:14:30 发布

阅读量274

点赞数 4

文章标签：机器学习人工智能深度学习

本文链接：https://blog.csdn.net/qq_46025765/article/details/137626079

版权

本文着重讨论VAE和CVAE，AE的原理不再赘述。主要采用Q&A的方式。

VAE

Q：为什么AE产生新的样本很难？

A：因为没有对隐空间的z进行建模。

Q：z是不确定的，如何建模？

A：给定z一个简单的分布，将采样空间（隐空间）压缩

可以假设隐空间z服从各维度独立的高斯分布， $p(z) = N(0,I)$ 则可以认为数据集是由某个随机过程产生的，z是一个不可观测到的隐变量，该过程分为两个step：

step1：从p(z)中采样得到一个zi

step2：根据zi，从条件分布p(x|zi)中采样得到一个数据点xi

也就是：从隐空间sample一个z，经过decoder得到p(X|Z)，从p(X|Z)中sample得到新数据。

Q：得到的p(X|Z)太复杂不好建模怎么办？

A：假设p(X|Z)也服从各维度独立的高斯分布。

$p_{\theta }(X|z_{i}) =N(X|\mu _{i}^{'}(z_{i};\theta),\sigma _{i}^{'2}(z_{i};\theta)* I)$

生成模型的本质：找一个 $P_{\theta }(X)$ 与真实的分布 $P(X)$ 越像越好

Q：如何对Pθ(X)建模？

A：因为 $p(z) = N(0,I)$ , $p_{\theta }(X|z_{i}) =N(X|\mu _{i}^{'}(z_{i};\theta),\sigma _{i}^{'2}(z_{i};\theta)* I)$ ，则有

$P_{\theta }(X)$ $= \int_{z}^{}p_{\theta }(X|z)p(z)dz \approx \frac{1}{m}\sum_{j=1}^{m}p_{\theta }(X|z_{i})$

但是上述方法不太可行，因为需要采样大量的 $z_{i}$

Q：如何解决？

A：在Encoder中引入后验分布 $p_{\theta }(z|x_{i})$ ，即前向传播中，给定 $x_{i}$ ，计算出 $z|x_{i}$ 的分布，从这个分布中采样 $z_{i}$ 。

Q：为什么要这么做？

A：因为这样从 $p(z_{i}|x_{i})$ 中采样得到的 $z_{i}$ 几乎都与 $x_{i}$ 有关系。

Q：如何计算 $p(z_{i}|x_{i})$ ？

A：贝叶斯公式：

$p_{\theta }(z|x_{i}) = \frac{p_{\theta }(x_{i}|z)p(z)}{p_{\theta }(x_{i})} = \frac{p_{\theta }(x_{i}|z)p(z)}{\int_{z}^{}p_{\theta }(x_{i}|z)p(z)dz}$ ，分子可以算，但是分母上有积分不好处理。

Q：如何解决呢？

A：因为p(X|Z)与p(z)已经做了假设服从高斯分布，则可以证明， $p_{\theta }(z|x_{i})$ 也服从高斯分布。（贝叶斯定理，这里不再证明），所以令一个由 $\phi$ 参数化的Encoder $q_{\phi }(z|x_{i})$ 去拟合 $p_{\theta }(z|x_{i})$ 。