参考:LDA数学八卦
MCMC(Markov Chain Monte Carlo马尔科夫链蒙特卡罗)和Gibbs Sampling(吉布斯抽样)
MCMC抽样的思想:
MCMC抽样用到的思想与马尔可夫链密切相关,我们构造一个转移矩阵概率矩阵为P的马尔科夫链,若该马尔科夫链的最终稳态分布恰好是我们要构造的样本所对应的概率分布p(x)。那我们从初始状态x
0开始沿着马尔科夫链转移,如果在第n步马尔科夫链收敛,那么之后的状态都满足p(x)=p(x)*P,即n步之后的所得到的数据均是服从p(x)的分布,即可以作为样本
细致平稳条件(主要是依据平稳分布的定义Pj=∑PiPij i∈[0,∞]
)
Gibbs Sampling
吉布斯抽样实际是找到是接受率为1的情况,这种抽样主要是沿着某个轴进行抽样。