变分贝叶斯、Variational Inference

不是大功告成了吗？通常情况下，上式是很难计算的，直观上看，需要考虑所有的都已比较困难了，更不用说能不能积分了，尤其是维度较高的情况，是需要多重积分的。当然，我们可以用Monte Carlo 的方法，不断的采样，然后近似得到结果。但对于高维的情况，我们需要大量的样本才能得到一个比较满意的结果，显然这也不是一个很好的选择。Variational Inference （VI） 为我们提供了另外的一种思路，其基本思想是直接去近似后验分布，通过优化不断地去提高近似程度。下面将介绍VI的基本思想和相关知识。

Evidence Lower Bound (ELBO)

$\log p(x)$称为Evidence，ELBO[q]是它的下限。

最小化ELBO就是变分贝叶斯的任务啦！