变分推断简单理解

1 需要搞清楚的几个问题
1 .1 变分推断求的是什么
变分推断（Variational Inference, VI）是贝叶斯近似推断的一种方法，将后验推断问题巧妙的转换为优化问题进行求解。贝叶斯公式求解posterior distribution $P(Z|X)$
$P(Z\mid X)=\frac{p(X,Z)}{{\int }_{z}p(X,Z=z)dz}$.这个公式难以求解的地方在于分母的求解，分母是一个积分，${\int }_{z}p(X,Z=z)dz$，而$Z$通常是一个高维的随机变量，所以积分难求。其中$P(x,z)=p(z)p(x|z)$
另外，这个贝叶斯公式中，$P(X)$表示先验分布。p(x|z)表示似然函数，$p(x)={\int }_{z}p(X,Z=z)dz$（也称之为evidence）。p(x)是和观测数据x有关系的，因此在计算的时候把他认为是一个常数。
1.2 变分推断是什么
变分推断方法，想求解分布难以确定的p,可以通过寻找易表达和求解的p,当p和q分布接近（距离接近）的时候，我们可以认为q是p的近似分布。因此通过变分推断的思想将求分布的推断问题转换为了求解“缩小距离”的优化问题。

2 求解变分推断的步骤：

2.1 首先构造一个容易求解的分布$q(z;\lambda )$
2.2 调整q分布中的参数$\lambda$，使得分布q不断的去接近分布p,通常采用KL散度去衡量两个分布之间的距离，因此这个优化问题就转换为如下的形式：
${\min }_{\lambda }KL(q(z;\lambda )\Vert p(z\mid x))$
但是这个KL散度中还是包含着$P(Z\mid X)$这个后验分布，所以依然难求。
通过等价变化，我们可以将上面这个KL散度转化为如下的形式：
$\log P(x)=KL(q(z;\lambda )\Vert p(z\mid x))+{\mathbb{E}}_{q(z;\lambda )}\log \frac{p(x,z)}{q(z;\lambda )}$
通常下，$logp(x)$可以看成是常量，所以最小化${\min }_{\lambda }KL(q(z;\lambda )\Vert p(z\mid x))$等价于：
${\max }_{\lambda }{\mathbb{E}}_{q(z;\lambda )}\log \frac{p(x,z)}{q(z;\lambda )}$
因此变分推断的进一步目标转换为：
${\max }_{\lambda }{\mathbb{E}}_{q(z;\lambda )}[\log p(x,z)-\log q(z;\lambda )]$
${\mathbb{E}}_{q(z;\lambda )}[\log p(x,z)-\log q(z;\lambda )]$称为 Evidence lower Bound（ELBO），$P(X)$称之为evidence 而$KL(P||Q)>0$，所以$p(x)>=E_{q(z;\lambda )}[\log p(x,z)-\log q(z;\lambda )]$,因此称之为ELBO

通过下面这个公式可以看出VAE的计算流程以及为了优化VAE网络参数所需要的两个loss
其一是：重构损失：$||x-f(z)|{|}^2$,第二项是编码约束损失$\mathcal{K}\mathcal{L}[\mathcal{N}(\mu (X),\Sigma (X))||\mathcal{N}(0,I)]$

参考blog:
https://www.zhihu.com/question/41765860