贝叶斯推断--Gibbs Sampling

简介

    当我们用贝叶斯模型去建模复杂的问题时，就越来越需要有效的推断方法来求解这些模型了。一言以蔽之，贝叶斯推断的目的就是在一组随即变量上维护一组完全后验概率分布。维护和应用这个概率分布常包含积分步骤，在面对较为复杂的模型时，是无法有效计算的。基于MCMC的抽样技术是一种可能的方法来求解和推断这些模型。

    MCMC抽样的基本思想是，通过均值遍历来估计任意期望分布。也就是说，只要我们能够得到一个后验的足够样本，就可以计算这个的任意统计量值。如下：

$$E|f(s)|_p \simeq \frac{1}{N}\sum_{i=1}^{N}f(s^{(i)})$$

    其中 $P$ 就是我们讨论的后验概率分布，$f(s)$ 是要求的期望值，也就是目标统计量。$f(s^{(i)})$ 是从后验分布中抽得的 第 $i$ 个(模拟)样本。

    那么如何从后验分布得到所需的样本呢？Gibbs sampling就是适合这种需求的一种MCMC技术。Gibbs sampling的基本思想是，在每一个变量之间进行不断切换来得到他们的条件分布，在得到其中某一个变量的条件分布的时候，需要保持其他变量的值固定在当前抽样值。举例来说，假定有三个随即变量 $X_1$，$X_2$ 和 $X_3$ ，首先对它们进行初始化赋值为 $x_1^{(0)}$ ， $x_2^{(0)}$ 和 $x_3^{(0)}$ (即由先验分布抽得的值，在LDA中就是由具有参数 $\lambda$ 的dirichilet分布抽样值)。那么条件分布的抽取过程就是，在第 $i$ 次迭代中，依次抽取

$x_1^{(i)} \sim p(X_1=x_1| X_2=x_2^{(i-1)}, X_3=x_3^{(i-1)})$ ，
$x_2^{(i)} \sim p(X_2=x_2| X_1=x_1^{(i-1)}, X_3=x_3^{(i-1)})$ ，
x(i)3∼p(X3=x