mh采样算法推导_深度学习：Gibbs 采样

1. 什么是Gibbs采样

Gibbs采样是MH算法的一种特例(α==1)，因此可以保证Gibbs抽取的样本，也构成一个非周期不可约稳定收敛的马氏链；Gibbs采样适用于样本是两维或以上的情况；通过积分去除掉相关但是不感兴趣的变量，称为“collapsed”的Gibbs采样；并且个人的一个感觉是，观测量所直接依赖的那些变量是不能被积分掉的，否则无法有效的进行抽样…

gibbs采样需要知道样本中一个属性在其它所有属性下的条件概率，然后利用这个条件概率来分布产生各个属性的样本值。gibbs采样属于随机模拟抽样算法中的一种(一类近似求解的方法)。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1. 接受-拒绝抽样；2)重要性抽样；3)MCMC(马尔科夫链蒙特卡洛方法)方法，它包括两个非常著名的采样算法(metropolis-hasting算法和它的特例Gibbs采样算法)(补充：MCMC方法最早由Metropolis(1954)给出，后来Metropolis的算法由Hastings改进，合称为M-H算法。M-H算法是MCMC的基础方法。由M-H算法演化出了许多新的抽样方法，包括目前在MCMC中最常用的Gibbs抽样也可以看做M-H算法的一个特例)。

Gibbs算法，就是用条件分布的抽样来替代全概率分布的抽样。例如，X={x1,x2,...xn}满足分布p(X)，如何对p(X)进行抽样呢？如果我们知道它的条件分布p(x1|X_{-1}),...,p(xi|X_{-i}),....，其中X_{-i}表示除了xi之外X的所有变量。如果这些条件分布都是很容易抽样的，那么我们就可以通过对条件分布的抽样来对全概率分布p(X)进行抽样。

Gibbs采样算法的步骤：