马尔科夫蒙特卡罗

马尔科夫链

马尔科夫链有四个基本元素：状态$S$、状态转移矩阵($P$)、状态初始分布($I$)和平稳分布($\Pi$)。

$$S = [s_1,s_2,...,s_n]\tag{1}$$
$$P=\left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{matrix} \right] \tag{2}$$
$$I = [i_1,i_2,...,i_n] \tag{3}$$
$$\Pi = [\pi_1,\pi_2,...,\pi_n] \tag{4}$$
有些马尔科夫链是没有平稳分布的。一个非常有用的判断马尔科夫链是不是平稳的充分条件，即细致平稳条件。

细致平稳条件

如果非周期马氏链的转移矩阵$P$和分布$π(x)$满足

$$π_iP_{i,j}=π_jP_{j,i}, \forall i,j \in\{1,2,...,n\}$$ 则 π(x)是马氏链的平稳分布，上式被称为细致平稳条件(detailed balance condition)。

马尔科夫蒙特卡罗

马尔科夫蒙特卡罗是一个非常有用的统计分析工具，如果知道一个一个马尔科夫的状态转移矩阵，我们可以