蒙特卡洛采样_百面机器学习笔记 | 第八章：采样 | 05 马尔可夫蒙特卡洛采样法 MCMC...

在高维空间中，拒绝采样和重要性重采样经常难以寻找合适的参考分布，使得样本的接受概率小或重要性权重低，采样效率很低。这时我们就可以考虑马尔可夫蒙特卡洛（Markov Chain Monte Carlo，MCMC）采样法。

这是机器学习中非常重要的一类采样算法。它可以用户很多比较复杂的分布的采样，在高维空间中也能使用。

简述MCMC采样法的主要思想

从名字上来看，有两个MC组成，分别是蒙特卡洛法（Monte Carlo）和马尔可夫链（Markov Chain）。蒙特卡洛法是指基于采样的数值型近似求解方法，马尔可夫链则用于进行采样。

该采样法的基本思想是：

[1] 针对待采样的目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布。

[2] 从任何一个初始状态出发，沿着马尔可夫链进行状态转移。

[3] 最终得到的状态转移序列会收敛到目标分布，由此可以得到目标分布的一系列样本。

在实际操作中，核心点是如何构造合适的马尔可夫链，也就是确定马尔可夫链的状态转移概率，这涉及到一些马尔可夫链的相关知识，如时齐性、细致平衡条件、可遍历性、平稳分布等。

---

常见的MCMC采样法有哪些呢？

之前说到，MCMC的