LDA文本建模（2）——MCMC和Gibbs Sampling

统计学中有一类重要的问题：给定一个概率分布P(x)，如何在计算机中生成该分布对应的样本。MCMC(Markov Chain Monte Carlo)和Gibbs Sampling算法在现代贝叶斯分析中被广泛使用。

1）MCMC(Markov Chain Monte Carlo)

如，转移概率矩阵记为：

初始概率分布向量为：π0=[π0(1), π0(2), π0(3)]。

则：π1=π0*P，π2=π1*P=π0*P^2，。。。，πn=πn-1*P=π0*P^n。

若在某一刻，有：

，其中：

，则称：π是马氏链的平稳状态。

注意：马氏链的收敛行为是由概率转移矩阵P决定的。当n足够大时，有P^n=P^(n+1)。

假设我们有一个转移矩阵Q（每个元素为q(i,j)，表示状态 i 转移到状态 j 的概率，也可写成 q( i -> j ) 或 q( j | i ) 。），则有如下采样概率分布P(x)的算法：

2）Gibbs Sampling

参考：

http://blog.csdn.net/v_july_v/article/details/41209515

rickjin的LDA数学八卦（力荐，本文部分图片和公式来自于此文档）网页版：http://www.flickering.cn/tag/lda/，PDF版：http://emma.memect.com/t/9756da9a47744de993d8df13a26e04e38286c9bc1c5a0d2b259c4564c66132