不是大功告成了吗?通常情况下,上式是很难计算的,直观上看,需要考虑所有的都已比较困难了,更不用说能不能积分了,尤其是维度较高的情况,是需要多重积分的。当然,我们可以用Monte Carlo 的方法,不断的采样,然后近似得到结果。但对于高维的情况,我们需要大量的样本才能得到一个比较满意的结果,显然这也不是一个很好的选择。Variational Inference (VI) 为我们提供了另外的一种思路,其基本思想是直接去近似后验分布,通过优化不断地去提高近似程度。下面将介绍VI的基本思想和相关知识。
Evidence Lower Bound (ELBO)
log
p
(
x
)
\log p(x)
logp(x)称为Evidence,ELBO[q]是它的下限。
最小化ELBO就是变分贝叶斯的任务啦!