MCMC与Metropolis-Hastings 算法

1.问题： 对一些分布如均匀分布等是很容易采样的，但是对于很多分布尤其是多维的概率分布采样是很困难的。 MCMC就是为了解决采样的问题的。

 

 

2.方法：

（1）思想：

给定一个p(x)如果我们能构造一个转移矩阵为P的马氏链，使得该马氏链的平稳分布恰好是p(x), 那么我们从任何一个初始状态X₀出发沿着马氏链转移, 得到一个转移序列 X₁,X₂,X₃,⋯X_n,X_n+1⋯,⋯， 如果马氏链在第n步已经收敛了，于是我们就得到了 π(x)的样本。    

具体做法比如：设定500个马尔科夫链，给定500个随机初始状态，马尔科夫链的平稳分布是p(x)。  到了第n步，状态趋于平稳。第n步的500个状态则为p(x)的抽样。

知识：

 

 

 

（2）如何获得转移状态矩阵P（或Q）：

把求采样的问题转为求转移状态矩阵P的问题。

思路：如果P满足细致平稳条件，则n步得到的分布一定是平稳分布。

但是一步情况下细节平稳条件是不满足的。我们引入一个 α(i,j)因子。

使，该因子称为接受率。

则

 

于是我们把原来具有转移矩阵Q(就是q(i,j))的一个很普通的马氏链，改造为了具有转移矩阵Q′的马氏链，而 Q′恰好满足细致平稳条件，由此马氏链Q′的平稳分布就是p(x)！

 

 

知识：

a

 

b

在概率论中，概率质量函数（probability mass function，简写为pmf）是离散随机变量在各特定取值上的概率。概率质量函数和概率密度函数不同之处在于：概率密度函数是对连续随机变量定义的，本身不是概率，只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。

C

平稳分布是说任意一个状态, 从这个状态出去的量和其它状态进来的量一致（一个平稳分布，经过一步转移，概率分布还是平稳分布）
细致平稳分布是说任意两个状态A,B, 从A到B的量, 和从B到A的量一致, 是比上面更严格的条件.则细致平稳分布是平稳分布。细致平稳条件是平稳分布的充分条件。

D

在改造 Q的过程中引入的 α(i,j)称为接受率，物理意义可以理解为在原来的马氏链上，从状态 ii以q(i,j)的概率转跳转到状态jj的时候，我们以α(i,j)的概率接受这个转移，于是得到新的马氏链Q′的转移概率为q(i,j)α(i,j)。

 

（3）MCMC算法

 

注意，转移概率（q（x|x_t））矩阵一定能很好采样的。

（4）Metropolis-Hastings 算法

A. 问题：以上的 MCMC 采样算法已经能很漂亮的工作了，不过它有一个小的问题：马氏链Q在转移的过程中的接受率 α(i,j)可能偏小，这样采样过程中马氏链容易原地踏步，拒绝大量的跳转，这使得马氏链遍历所有的状态空间要花费太长的时间，收敛到平稳分布p(x)的速度太慢。有没有办法提升一些接受率呢?

B. 解决思路：

式中的α(i,j),α(j,i)同比例放大，使得两数中最大的一个放大到一，这样我们就提高了采样中的跳转接受率。提高了接受率，而细致平稳条件并没有打破！

 

 

小的接受率为 ，而大的为1.

 

C算法：

 

 

http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/