【应用随机过程】04. 马尔可夫链的平稳分布

第四讲 马尔可夫链的平稳分布

一、平稳分布

Part 1：平稳分布

严平稳过程：设 { X n : n ≥ 0 } \{X_n:n\geq0\} { Xn​:n≥0} 是一个随机过程，如果对任意 $n\ge 0$ 和 $m\ge 1$ ，有
$$\left(X_m,X_{m+1},\cdots ,X_{m+n}\right)\stackrel{d}{=}\left(X_0,X_1,\cdots ,X_n\right),$$
则称 { X n : n ≥ 0 } \{X_n:n\geq0\} { Xn​:n≥0} 是严平稳过程。即随机过程的任意有限维分布不依赖于时间。

设 { X n } \{X_n\} { Xn​} 是时齐的马尔可夫链，如果 { X n } \{X_n\} { Xn​} 是严平稳过程，则称 { X n } \{X_n\} { Xn​} 具有平稳分布。这里我们只需考虑初始分布和一步之后的分布相同的情况，因为由此可以推出任意步之后的分布都和初始分布相同。

设初始分布为 $\pi =({\pi }_1,{\pi }_2,\cdots ,{\pi }_N)$ ，一步转移矩阵为 $P=(p_{ij}{)}_{N\times N}$ ，则一步之后的分布为 $\pi P$ 。因此 { X n } \{X_n\} { Xn​} 具有平稳分布当且仅当 $\pi =\pi P$ ，此时我们称 $\pi$ 为 { X n } \{X_n\} { Xn​} 的平稳分布。

设 { X n } \{X_n\} { Xn​} 具有平稳分布，如果我们想要求出平稳分布，需要求解下列具有约束条件的线性方程组：
$$\{\begin{array}{l}\sum _{i=1}^N{\pi }_i{p}_{ij={\pi }_j},j=1,2,\cdots ,N,\\ \sum _{i=1}^N{\pi }_i=1,\\ {\pi }_i\ge 0,i=1,2,\cdots ,N.\end{array}$$
注意，马尔可夫链的平稳分布不一定是唯一的，与上述方程组的解的情况有关。

Part 2：不可约马尔可夫链的性质

这里我们就列出几个定理而不给出证明了。

定理：不可约马尔可夫链的性质

1. 如果 { X n } \{X_n\} { Xn​} 不可约非周期，则 { X n } \{X_n\} { Xn​} 存在平稳分布当且仅当 { X n } \{X_n\} { Xn​} 正常返，此时平稳分布 $\pi$ 唯一且 ${\pi }_i=\frac{1}{{\mu }_i}$ 。
2. 如果非周期不可约正常返，即 { X n } \{X_n\} { Xn​} 遍历，则对任何 $i,j\in I$ ，都有 $\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}={\pi }_j$ 。
3. 如果状态空间 $I$ 有限，则 { X n } \{X_n\} { Xn​} 一定正常返。

定理：常返和暂留的其他性质

1. 如果状态空间 $I$ 有限，则状态 $i$ 常返当且仅当 $i$ 的互达等价类是闭集，并且此时 $i$ 是正常返。
2. 如果 $j$ 暂留或零常返，则对任意 $i$ 都有 $\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}=0$ 。

推论：正常返和零常返的等价描述

1. 状态 $i$ 正常返当且仅当 $\underset{n\to \infty }{\lim }$