GAN的孪生兄弟：从VAE到βVAE，再到β-TCVAE

01
VAE

Auto-Encoding Variational Bayes：https://arxiv.org/abs/1312.6114

VAE是将概率图模型的思想和AE（Auto Encoder）的结合体。

看左图的一个概率图模型，假设有一个已知的先验分布P(z)，和能观察到的数据x。我们想要推断后验分布p(z|x),他的计算公式就是下面这个贝叶斯公式。但是当z的维度很高的时候，p(x)的计算是不可行的。这时候我们就设计一个q(z|x)去近似p(z|x)。这个度量就由KL散度给出，通过最小化KL散度，我们就能得到近似的p(z|x)。通过变换，我们就得到下面这个式子,这个式子就等于logp(x)的期望，这个式子也叫做变分下界。最大化这个式子，我们就能近似得到p(x)。

将这个概率图模型和自编码器结合，我们就得到了右图中的变分自编码器结构。变分自编码器的encoder就可以表示为近似方法q(z|x).

因为VAE的最终目的就是要拟合出x的分布，所以同样的,VAE也要去最大化这个变分下界。写成的loss的形式就是，最小化这个下界。

它包含两个值，一个是对生成的x的期望，一个是拟合的q(z|x)和先验p(z)的KL散度。

这里的q和p分别被phi 和 theta参数化。

VAE的loss:

02
β-VAE

bet