可变自动编码器(VAE)

参考1

生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)
自动编码器(Auto Encoder)是一种自监督的神经网络，它学习如何将输入编码为更低的维数，然后再次解码和重构数据以尽可能有效地接近输入。

Autoencoder由3个部分组成：
编码器，将输入数据编码为较低维表示的层。
压缩层，包含编码/压缩表示的最低维数的层。也被称为瓶颈。
译码器，学会解码或重新构造编码表示到数据的层接近输入数据。

自动编码器功能：
去噪:为了使自动编码器学会去噪图像，我们使用一个损坏或有噪声的图像作为输入，然后修改重建损失，使重建输出与原始干净的图像之间的差异最小，而不是损坏的输入。编码器的目标是只编码有用的特征，因此，随机噪声应在重建过程中丢失。
降维:通过使用输出层比输入层有更少维数的“不完全”自动编码器，自动编码器能够在更低维数的情况下非线性地表示数据，这与有限的线性变换的PCA(主成分分析)方法形成对比。

我们的编码器将输出我们想要的每个潜在维度的均值和方差，并从分布中抽取z来生成新的数据。

数学细节
现在我们将深入研究VAE的实施。我们将把x表示为输入数据，把z表示为潜在变量(编码表示)。在普通的自编码器中，编码器将输入x转换为潜在变量z，而解码器将z转换为重构的输出。而在可变自编码器中，编码器将x转换为潜在变量p(z|x)的概率分布，然后对潜在变量z随机采样，再由解码器解码成重构输出。

自编码器(确定性)和可变自编码器(概率性)的区别。
为了计算潜在分布p(z|x)，可以利用贝叶斯公式得到

其中

不幸的是，计算p(x)是困难的，它通常是一个棘手的分布，这意味着它不能以封闭形式表示，这个问题不能用多项式算法来解决。
因此，我们将用可变推理方法来近似分布。基本上，我们将选择一些其他易于处理的分布q来近似分布p。为了做到这一点，我们希望q(z|x)的参数与p(z|x)非常相似。