马尔可夫链蒙特卡洛

最常见的是，用马尔可夫链的平稳分布，来随机抽样，估计贝叶斯后验概率分布，（因为贝叶斯后验概率解析式相关的量或许不太好计算）。
那么如何利用马尔可夫链的平稳分布，来随机抽样呢？
这个就需要用到马尔可夫链的一些相关性质。
马尔可夫链在满足一些性质的前提下，一直不停迭代下去的话，最终会达到一个平稳状态，这个平稳状态概率分布只跟概率转换矩阵有关。
那么如何从平稳状态概率分布，来推出概率转换矩阵呢？

我们先来看看马尔可夫链自己的性质。

从上面描述可以看出，我们希望找到的马尔可夫链是非周期的，任意两个状态通过有限步可达，这些在实际应用中都是可以通过计算概率转换矩阵的 n 次幂来验证其是否收敛的。所以如何求概率转换矩阵P呢？只需求解一个概率转换矩阵P，使得 $\pi P=\pi$ 成立。
这里就需要用到马尔可夫链的细致平稳条件。

方法是从任意的概率转换矩阵 $Q$ 出发，找到一个接受概率矩阵 $\alpha (i,j)$, 使得 $\pi (i)Q(i,j)\alpha (i,j)=\pi (j)Q(j,i)\alpha (j,i)$.
事实上，我们的平稳分布 $\pi$ 所对应的概率转换矩阵 $P$ 满足，
$P(i,j)$