第四课:马氏链的状态分类

第四课:马氏链的状态分类

---

以下总设马氏链 X = { X n : n ≥ 0 } X=\{X_n:n\ge0\} X={ Xn​:n≥0}的转移概率矩阵$P=(p_{ij}{)}_{i,j\in S}$.
为方便,分别记$E(.|X_0=i)和P(.|X_0=i)$为$E_i(.)和P_i(.)$.

一.互通、本质、不可约

（1）可达与互通

定义1: 设$i,j\in S$,若$\exists n\in \mathbb{N}$,使得$p_{ij}^{(n)}>0$, 则称$i$可达$j$,记作$i\to j$.（否则$i\nrightarrow j$）
进一步，若$i\to j$,且$j\to i$,则称$i$与$j$互通,记作$i\leftrightarrow j$.

注: $n\in \mathbb{N}$，是可以取值0的，也就是$i$与自身是可达的，也是互通的!

命题1：若$i\to j$,$j\to k$,则$i\to k$
Proof. 根据可达的定义,由$i\to j,j\to k$知，$\exists n,m\in \mathbb{N}$,使得$p_{ij}^{(n)}>0,p_{jk}^{(m)}>0$
从而由C-K方程知 $p_{ik}^{(m+n)}={\sum }_{l\in S}{p}_{il}^{(n)}{p}_{lk}^{(m)}\ge p_{ij}^{(n)}{p}_{jk}^{(m)}>0$
从而$i\to k$

命题1推论: 互通($\leftrightarrow$) 是一种等价关系(自反,对称,传递)

定义2: 对$\forall i\in S$， 称 C ( i ) = { k ∈ S : i ↔ k } C(i)=\{k\in S:i\leftrightarrow k \} C(i)={ k∈S:i↔k}为包含状态$i$的互通类.

命题2: 对$\forall i,j\in S$,有$C(i)\cap C(j)\ne \varnothing$ $\iff$ $C(i)=C(j)$
Proof. 先证$\Leftarrow$方向:
因为$C(i)=C(j)$,所以 C ( i ) ∩ C ( j ) = C ( i ) ⊇ { i } ≠ ∅ C(i)\cap C(j)=C(i)\supseteq \{i\}\neq \empty C(i)∩C(j)=C(i)⊇{ i}​=∅
再证$\Rightarrow$ ：
(思路是分别证明$C(i)\subseteq C(j)$ 和 $C(j)\subseteq C(i)$)

因$C(i)\cap C(j)\ne \varnothing$
所以可取$k\in C(i)\cap C(j)$, $\forall l\in C(i)$,由条件可知$l\leftrightarrow i$, $k\leftrightarrow i$, $k\leftrightarrow j$ 所以$l\leftrightarrow j$,从而$l\in C(j)$，即$C(i)\subseteq C(j)$
同理可证$C(j)\subseteq C(i)$
综上,$C(i)=C(j)$