变分自编码器的推导，VAE的推导，ELBO｜证据下界｜训练方法

前提描述： VAE在编码器输入x时隐藏变量h的分布为E(h|x)，解码器在给定隐藏变量h对应的x的分布为D(x|h)，模型的隐藏变量的分布满足Q(h)，模型后验概率为D(x)=$\int$D(x|h)Q(h)dh，从证据下界推导VAE的损失函数

给定输入$x$时，模型需要最大化对数似然概率，故而损失函数可以写成$Loss:=-\log D(x)$，模型最小化损失函数即是要最大化对数似然概率。

$$\begin{array}{rl}\log D(x)& =\int E(h|x)\log D(x)dh\\ & =\int E(h|x)\log \frac{D(x)E(h|x)D(h|x)}{D(h|x)E(h|x)}dh\\ & =\int E(h|x)\log \frac{E(h|x)}{D(h|x)}dh+\int E(h|x)\log \frac{D(x,h)}{E(h|x)}dh\\ & =KL(E(h|x)\Vert D(h|x))+\int E(h|x)\log \frac{D(x|h)Q(h)}{E(h|x)}dh\\ & =KL(E(h|x)\Vert D(h|x))+\int E(h|x)\log D(x|h)dh-KL(E(h|x)\Vert Q(h))\\ & \ge \int E(h|x)\log D(x|h)dh-KL(E(h|x)\Vert Q(h))\\ & =E_{h\sim E(h|x)}\log D(x|h)-KL(E(h|x)\Vert Q(h))\end{array}$$

因此，最大化$\log D(x)$可以通过最大化其证据下界（ELBO）实现，即最大化
$$ELBO:={\text{E}}_{h\sim E(h|x)}\log D(x|h)-KL(E(h|x)\Vert Q(h))$$
最大化ELBO

1. 需要$E_{h\sim E(h|x)}\log D(x|h)$尽可能大，即需要从编码器得到的隐变量空间中采样隐变量，对采样得到的隐变量进行解码，使得解码得到的$\hat{x}$分布中，对应真是输入$x$的概率尽可能大。即最小化重构误差。
2. 需要$KL(E(h|x)\Vert Q(h))$尽可能小，即需要编码器得到的隐变量概率分布与隐变量的先验分布尽可能接近。

VAE的训练

当编码器和解码器输出的分布都是高斯分布，且要求隐变量先验分布为$\mathcal{N}(0,I)$时，VAE的训练过程如下图左边所示。然而左图中的采样过程会导致训练过程中计算重构误差$\Vert X-f(z){\Vert }^2$得到的梯度无法反向传播到编码器。因此将采样过程修改为下图右边的形式，从直接采样目标变量变成采样目标变量到分布均值的差，这样使得反向传播过程中梯度可以传递到编码器。