蒙特卡洛-马尔科夫链(MCMC)的混合速度

在应用Markov Chain Monte Carlo的文章中，常常遇到这样的说法：“马氏链的混合速度”，“某马氏链混合很慢”，“转移概率严重尖峰（peaked）”。本文用简单的例子讲解这一概念。
MCMC的初步理解可以参看这篇博客。

马氏链的平稳态

符合一定条件的马氏链能够收敛到一个平稳态。换言之，给定随机变量的条件分布（概率转移矩阵），马氏链中的样本最终会达到其先验分布（平稳态）。这里不做数学推导，仅给出一个直观的例子。

例子：平稳态

有一个学生每天考试，如果考得不好记为$x=0$，考得好记为$x=1$。我们不知道他考好考坏的概率$p(x)$，但是通过调查可以知道相邻两天成绩的条件概率/状态转移矩阵$T:T_{ij}=P(j\to i)$：

.	$x_t=0$	$x_t=1$
$x_{t+1}=0$	$T_{00}=0.70$	$T_{01}=0.05$
$x_{t+1}=1$	$T_{10}=0.30$	$T_{11}=0.95$

已知其第一天的考试成绩（$p_0=[0;1]或者p_0=[1;0]$），第N天的考试成绩的概率分布为
$$p_N=\prod _{i=1}^{N}T\cdot p_0$$

考不好有30%机会翻盘，考得好则有95%机会保持胜利，证明总体考好的机会很大。可以看到，无论第一天成绩如何，在大约12天后，考好的概率都收敛到大约0.8以上。换言之，到了第12天，这位同学就**“忘记”了第一天的成绩**，此时的概率就是这个马氏链的平稳态 p ( x =