读书笔记：Markov链的状态分类之互达性

（可达与互达）如果对某一 $n\ge 0$，有 $P_{ij}^{(n)}>0$，则称状态 $j$ 是从状态 $i$ 可达的 $(accessible)$，记作 $i\to j$。它表示从状态 $i$ 经过有限步的转移可以到达状态 $j$。两个互相可达的状态 $i$ 和 $j$，则称为互达的 $(communicate)$，记作 $i⟷j$。

$⨁$ 在转移图上，可以更直观地理解概念 $i\to j$。因为，转移图是以状态为结点的有向图，所以 $i\to j$ 在转移图上就表现为从结点 $i$ 到 结点 $j$ 的一条可重复经过某些结点的有向通路。

（互达性）互达性是数学上的一种等价关系，即满足
(i) $i⟷i$，自反性；
(ii) 若 $i⟷j$，则 $j⟷i$，对称性；
(iIi) 若 $i⟷j$，且 $j⟷k$，则 $i⟷k$，传递性；

$⨁$ 两个状态如果是互达的就称它们是处在同一类中。
$⨁$ $Markov$链的所有状态就由互达这一等价关系而分割成不同的等价类。
$⨁$ 两个类要么互不相交，要么完全重合。
$⨁$ 如果在互达性这一等价关系下$Markov$链的所有状态都居于同一类，那么就称这个$Markov$链是不可约的 $(irreducible)$。换言之，不可约过程的各个状态都是互达的。

例题：一只老鼠放在迷宫内如下图。每隔单位时间老鼠在迷宫中移动一次，随机地通过格子。也就是说如果有$R$条通路供离开，那么选取其中任一条通路的概率为$1/R$。试用马尔可夫链描述老鼠的移动，给出它的状态空间和一步状态转移概率矩阵，并判断此问题是否可约。

解：记 $X(n)$ 为时刻 $n$ 时老鼠所在的格子号，则状态空间 S = { 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 } S=\{1,2,3,4,5,6,7,8,9\} S={1,2,3,4,5,6,7,8,9}。由于 $X(k+1)$ 的取值只与时刻 $k$ 时的位置 $X(k)$ 的取值相关，与 $k$ 之前的状态无关，故 { X ( n ) } \{X(n)\} {X(n)}为 $Markov$ 链。其一步状态转移概率矩阵为：
$$\left(\begin{array}{ccccccccc}0& 1& 0& 0& 0& 0& 0& 0& 0\\ 1/2& 0& 1/2& 0& 0& 0& 0& 0& 0\\ 0& 1/2& 0& 1/2& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 1/2& 0& 1/2& 0\\ 0& 0& 0& 0& 1/3& 0& 1/3& 0& 1/3\\ 0& 0& 0& 0& 0& 0& 0& 1& 0\end{array}\right)$$
由状态转移概率矩阵，可得转移图如下：

由于本题的状态转移图包含多于一个的连通子图，所以可得本题所涉问题是可约的。

【本文的 $Markdown$ 代码】

（可达与互达）如果对某一 $n\geq 0$，有 $P_{ij}^{(n)} \gt 0$，则称状态 $j$ 是从状态 $i$ 可达的 $(accessible)$，记作 $i \rightarrow j$。它表示从状态 $i$ 经过有限步的转移可以到达状态 $j$。两个互相可达的状态 $i$ 和 $j$，则称为互达的 $(communicate)$，记作 $i \longleftrightarrow j$。

$\bigoplus$ 在转移图上，可以更直观地理解概念 $i \rightarrow j$。因为，转移图是以状态为结点的有向图，所以 $i \rightarrow j$ 在转移图上就表现为从结点 $i$ 到 结点 $j$ 的一条<font color=red>可重复经过某些结点</font>的有向通路。
\
（互达性）互达性是数学上的一种等价关系，即满足
(i) $i \longleftrightarrow i$，自反性；
(ii) 若 $i \longleftrightarrow j$，则 $j \longleftrightarrow i$，对称性；
(iIi) 若 $i \longleftrightarrow j$，且 $j \longleftrightarrow k$，则 $i \longleftrightarrow k$，传递性；

$\bigoplus$ 两个状态如果是互达的就称它们是处在同一类中。
$\bigoplus$ $Markov$链的所有状态就由互达这一等价关系而分割成不同的等价类。
$\bigoplus$ 两个类要么互不相交，要么完全重合。
$\bigoplus$ 如果在互达性这一等价关系下$Markov$链的所有状态都居于同一类，那么就称这个$Markov$链是不可约的 $(irreducible)$。换言之，不可约过程的各个状态都是互达的。

\
例题：一只老鼠放在迷宫内如下图。每隔单位时间老鼠在迷宫中移动一次，随机地通过格子。也就是说如果有$R$条通路供离开，那么选取其中任一条通路的概率为$1/R$。试用马尔可夫链描述老鼠的移动，给出它的状态空间和一步状态转移概率矩阵，并判断此问题是否可约。

解：记 $X(n)$ 为时刻 $n$ 时老鼠所在的格子号，则状态空间 $S=\{1,2,3,4,5,6,7,8,9\}$。由于 $X(k+1)$ 的取值只与时刻 $k$ 时的位置 $X(k)$ 的取值相关，与 $k$ 之前的状态无关，故$\{X(n)\}$为 $Markov$ 链。其一步状态转移概率矩阵为：
$$  
   \left(
   \begin{matrix}
   0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\
   1/2 & 0 & 1/2 & 0 & 0 & 0 & 0 & 0 & 0 \\
   0 & 1/2 & 0 & 1/2 & 0 & 0 & 0 & 0 & 0 \\
   0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\
   0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\
   0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\
   0 & 0 & 0 & 0 & 0 & 1/2 & 0 & 1/2 & 0 \\
   0 & 0 & 0 & 0 & 1/3 & 0 & 1/3 & 0 & 1/3 \\
   0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 
  \end{matrix}
  \right)
$$