原创 | 变分自动编码器（VAE）

1. VAE 概述

变分自动编码器（Variational autoEncoder，VAE）是生成模型的一种。这些方法的主要目标是从对象的学习分布中生成新的采样数据。2014 年，Kingma et al. [3]提出了这种生成模型，该模型可以从隐变量空间的概率分布中学习潜在属性并构造新的元素。

VAE 包含两个部分：编码器 encoder 和解码器 decoder。如图 1 所示，编码器计算每个输入数据的低维均值μ和方差，然后从隐变量空间采样，得到Z={Z1,Z ...,Zn}，通过解码器生成新数据Y ={Y1,Y2...,Yn}。我们希望从隐变量空间中的采样的数据 Z 遵循原始数据 X 的概率分布，这样我们根据采样数据 Z 生成的新数据 Y也就可以遵循原始数据的概率分布[2]。

Fig. 1. The structure of the VAE.

2. 概率分布

但是问题来了，如何才能保证采样数据 Z 的概率分布是符合输入 X 的呢？首先假设存在一个 Z 关于 X 的后验后验概率，并进一步假设这个概率分布是正态分布：

p(Z | X ) = N(0, I)

那么采样数据 Z 的概率分布就为：

这样 (先验分布)和 (后