随机过程——离散时间马尔科夫链定义的通俗理解

由于随机过程中离散时间马尔科夫链定义很多，网上资源又过于零散，书上笔记也写得十分零碎，所以就写篇博客来记录一下这些定义的通俗理解。

对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！

首达概率：$f_{ij}^{(n)}=\mathbb{P}(X_n=j,X_k\ne j,k=1,2,\dots ,n-1|X_0=i)$，称$f_{ij}^{(n)}$为马氏链 $X$ 在 0 时从状态 $i$ 出发，经过 $n$ 步转移首次到达状态 $j$ 的概率，简称首达概率。

平均转移步数：${\mu }_{ii}={\sum }_{n=1}^{+\infty }n{f}_{ii}^n$，反映了马氏链从状态 $i$ 出发首次再返回到状态 $i$ 的平均时间或平均转移步数。

最大公约数：对状态 $i\in S$，若正整数集合 { n ∣ n ≥ 1 , p i i ( n ) > 0 } \{n | n \geq 1, p_{ii}^{(n)} > 0\} {n∣n≥1,pii(n)​>0} 非空，记该集合的最大公约数为 $d_i$，即：
d i = G C D { n ∣ n ≥ 1 , p i i ( n ) > 0 } d_i={\rm GCD}\{n | n \geq 1, p_{ii}^{(n)} > 0\} di​=GCD{n∣n≥1,pii(n)​>0}

常返：$f_{ii}=1$，就是说从一个状态出去后还可以回到这个状态。比如如下的转移概率矩阵：
$$\begin{array}{r}\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\end{array}$$

非常返：$f_{ii}<1$，就是说从一个状态出去后就再也返回不回来了。比如如下的转移概率矩阵：
$$\begin{array}{r}\left[\begin{array}{cc}0.5& 0.5\\ 0& 1\end{array}\right]\end{array}$$

正常返：设状态 $i\in S$ 是常返的，${\mu }_{ii}<+\infty$，则称状态 $i$ 是正常返的。就是说能够在有限次迭代中返回到状态 $i$。比如如下的转移概率矩阵：
$$\begin{array}{r}\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\end{array}$$

零常返：设状态 $i\in S$ 是常返的，${\mu }_{ii}=+\infty$，则称状态 $i$ 是零常返的。就是说虽然能够回来，但是要在无限次迭代中才回得来。具体的例子如下：

零常返例子[2]

就是说对于这种发散级数而言，需要无限次迭代才能够回得来[2]。

周期：当最大公约数 $d_i>1$ 时，称状态 $i$ 是有周期的，并称 $d_i$ 为状态 $i$ 的周期。就是说在一定周期内返回到 $i$。比如如下的转移概率矩阵：
$$\begin{array}{r}\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\end{array}$$

非周期：最大公约数 $d_i=1$ ，称状态 $i$ 是非周期的。就是说没有固定的周期返回到 $i$。比如如下的转移概率矩阵：
$$\begin{array}{r}\left[\begin{array}{ccc}0.5& 0.5& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\end{array}$$

周期与非周期的判断其实就是判断 $p_{ii}$ 是否为0（即有没有自环），如果有自环，那么一定是非周期的，否则再做其他的判断。关于有自环一定是非周期的直观理解，我们以下图作为例子：

我们以 1 号节点为例，如果要回到自己，那么第一次在 0 号节点这里，会遇到自环，所以有可能以 0.5 的概率 $0\to 0$，接着再到 1；也有可能经历两次 $0\to 0$，经历三次 $0\to 0$，$\dots$ 。所以我们无法评估这个周期究竟是多少，所以有自环是非周期的。

遍历态： 正常返的非周期状态。

可达： 设状态 $i,j\in S$ ， 若存在正整数 $n$ ，使 $p_{ij}^{(n)}>0$ ，则称状态 $i$ 可达状态 $j$ ，记为 $i\to j$。就是说 $i$ 经过 $n$ 步能够到达 $j$。

互通： $i\to j,j\to i$，则称状态 $i$ 与状态 $j$ 互通，记为 $i\leftrightarrow j$。

闭集：设 $C$ 是马尔科夫链状态空间 $S$ 的子集，若对任意状态 $i\in C,j\notin C$ ，任意正整数 $n\ge 0$， 有 $p_{ij}^{(n)}=0$，则称$C$ 为闭集。简单来说就是有两个集合 $C,C_j$ ，$C$ 中任意状态都不可达 $C_j$ 中的任意状态，那么 $C$ 就是闭集。

吸状态：如果闭集 $C$ 只包含一个状态，则称该状态为吸状态。

不可约闭集：如果闭集 $C$ 中不包含任何非空的闭真子集，则称 $C$ 为不可约闭集。简单来说就是无论当前状态如何，我们都能在有限时间内达到任何其他状态。

闭集，吸状态，不可约闭集如下图所示：

我们将该例子的状态空间分解，可以得到三个闭集， C 1 = { 0 , 1 , 2 } , C 2 = { 3 , 4 } , C 3 = { 6 } C_1 = \{0, 1, 2\}, C_2=\{3, 4\}, C_3=\{6\} C1​={0,1,2},C2​={3,4},C3​={6}。其中 $C_1$ 和 $C_2$ 为不可约闭集，$C_3$ 为吸状态。

当由$P$（转移概率矩阵）定义的马尔科夫链具有不可约性和非周期性，则具有唯一平稳分布。

参考

[1] 冯海林, 薄立军. 研究生系列教材·随机过程——计算与应用[M]. 西安电子科技大学出版社, 2012: 125-158.
[2] 凉冰难消一腔热血. 马尔可夫链的常返态和非常返态-零常返态[EB/OL]. (2020-09-13)[2021-06-21]. https://blog.csdn.net/weixin_45676049/article/details/108563527
[3] 声声醉如兰. 马尔可夫链的平稳分布[EB/OL]. (2020-11-08)[2021-06-21]. https://www.cnblogs.com/alan-W/p/13945969.html
[4] uplow. 如何理解马尔科夫链中的常返态，非常返态，零常返，正常反，周期和非周期，有什么直观意义？[EB/OL]. (2017-11-21)[2021-06-21]. https://www.zhihu.com/question/46539491
[5] Norstc. 【通俗易懂的通信】马尔可夫过程Ⅱ：马尔可夫链中的状态，常返、非常返[EB/OL]. (2020-10-22)[2021-06-21]. https://blog.csdn.net/a493823882/article/details/109230760
[6] 李佳骏. 马尔科夫链的非周期性到底有什么含义？[EB/OL]. (2018-01-23)[2021-06-21]. https://www.zhihu.com/question/38338191/answer/301466040
[7] “不可约的马尔可夫链”是什么意思？[EB/OL]. (2017-10-30)[2021-06-21]. https://xuexi.zqnf.com/1238837.html