机器学习系列手记（八）：采样之马尔可夫蒙特卡洛采样法（MCMC）

采样

马尔可夫蒙特卡洛采样法（MCMC）

      MCMC包括两个MC，即蒙特卡洛和马尔可夫链。蒙特卡洛是指基于采样的数值型近似求解方法，而马尔可夫链则用于进行采样。MCMC采样的基本思想是：针对待采样的目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布；然后，从任意一个初始状态出发，沿着马尔可夫链进行状态转移，最终得到的状态转移序列会收敛到目标分布，由此可以得到目标分布的一系列样本。在实际操作中，核心点是如何构造合适的马尔可夫链，即确定马尔可夫链的状态转移概率，这涉及一些马尔可夫链的相关知识，如时齐性、细致平衡条件、可遍历性、平稳分布等。
      MCMC采样法的核心点是构造合适的马尔可夫链，不同的马尔可夫链对应着不同的MCMC采样法，常见的有Metropolis-Hastings采样法和吉布斯采样法，如下图所示。

1、Metropolis-Hastings采样法

      对于目标分布 $p(x)$，首先选择一个容易采样的参考条件分布 $q(x^{\ast }|x)$，并令

      然后根据如下过程进行采样：
      （1）随机选一个初始样本 $x^0$。
      （2）For t=1,2,3…:
            1）根据参考条件分布 $q(x^{\ast }|x^{(t-1)})$ 抽取一个样本 $x^{\ast }$；
            2）根据均匀分布U(0,1)产生随机数 $u$；
            若 $u<A(x_{(t-1)},x^{\ast })$，则令 $x^{(t)}=x^{\ast }$，否则令 x ( t ) = x ( t − 1 ) x^{(t)}=x^{(t-1)}