07.第四章 Markov链(2)

第四章 Markov链(2)

1.状态空间分解

可达：对于状态空间为$\mathcal{E}$的Markov链$\mathbf{X}$，对于状态$i\ne j\in \mathcal{E}$，如果存在$n\ge 1$使得$p_{ij}^{(n)}>0$，则称状态$i$可到达$j$，记作$i\to j$。可达性即两个状态之间能够通过有限步骤到达。

互达（互通）：如果$i\to j$且$j\to i$，则称状态$i$和$j$互通，记作$i\leftrightarrow j$。互通是等价关系，满足对称性、传递性、自反性。

• 根据等价关系，可以将状态空间$\mathcal{E}$分为若干个互达等价类。
• 显然，不同互达等价类之间的任意两个状态都是不互达的，这意味着Markov在一个互达等价类中永远无法到达其他互达等价类，只能永远待在那个类中。
• 如果任意两个状态互达，也就是整个Markov链只有一个互达等价类，那么称这个Markov链是不可约的。
• 闭集：对于状态空间的子集$S\subset \mathcal{E}$，如果从$S$中任何状态出发，都无法到达$\mathcal{E}\setminus S$中的状态，则称$S$为闭集，即$\forall i\in S,j\in \mathcal{E}\setminus S,i\nrightarrow j$。$\varnothing$和$S$是显然的闭集。
• 吸收态：对于某种状态$i$而言，到达次状态后永不离开的，称为吸收态。即$p_{ii}=1$。

周期：令$\gcd$为集合内元素的最大公因子，则定义状态$i$的周期为 d i = gcd ⁡ { n ≥ 1 : p i i ( n ) > 0 } d_i=\gcd\{n\ge1:p_{ii}^{(n)}>0\} di​=gcd{n≥1:pii(n)​>0}，也就是状态$i$能返回自身所经过步数的最大公因数。如果$d_i=1$，则称状态$i$是非周期的。

• 假设$d_i=d$，那么存在一个自然数$m$使得$\forall n\ge m,p_{ii}^{(nd)}>0$。
• 互达等价类中的元素拥有共同的周期，即$i\leftrightarrow j\Rightarrow d_i=d_j$。

首中时：给定状态$j\in \mathcal{E}$，令 T j = inf ⁡ { n ≥ 1 : X n = j } T_j=\inf\{n\ge1:X_n=j\} Tj​=inf{n≥1:Xn​=j}，且约定$\inf \varnothing =\infty$。这样，当$X_0=j$时，$T_j$表示Markov链首次回到状态$j$的时刻；当$X_0=i\ne j$时，$T_j$表示Markov链首次到达$j$的时刻。

常返：如果$P(T_j<\infty |X_0=j)=1$，则称$j$是常返状态；若$P(T_j<\infty |X_0=j)<1$，则称$j$是顺时状态。若$E(T_j|X_0=j)<\infty$，则称$j$是正常返状态；若$E(T_j|X_0=j)=\infty$，则称$j$是零常返状态。

• 对于同一个互达等价类中的状态，它们有共同的常返性。若$i\leftrightarrow j$，则$i$是瞬时态当且仅当$j$是瞬时态，$i$是常返态当且仅当$j$是常返态，$i$正常返当且仅当$j$正常返。
• 对于常返状态$i\in \mathcal{E}$，其互达等价类为 C i = { j ∈ E : i ↔ j } C_i=\{j\in \mathcal E:i\leftrightarrow j\} Ci​={j∈E:i↔j}，则$C_i$是闭集。
• 典型的零常返态：对称随机游动中$\mathcal{E}=\mathbb{Z}$，状态$0$是一个零常返状态。

状态空间分解：Markov链的状态空间$\mathcal{E}$可以分解成若干个互不相交的状态空间为
$$\mathcal{E}=C_1+C_2+\cdots +C_M+\mathcal{N},M\le \infty$$
其中$C_i$表示常返状态等价类，$\mathcal{N}$表示瞬时状态的全体，不同的$C_i$是互不相交的闭集。

2.常返与瞬时

首中时：代表从某个状态出发，经过一定步数（不能是0步）后来到$j$状态花费的最小步数，由此定义必有$T_j\ge 1$，定义式为：
T j = inf ⁡ { n ≥ 1 : N n = j } T_j=\inf\{n\ge1:N_n=j\} Tj​=inf{n≥1:Nn​=j}
$n$步首次返回概率：令$f_{jj}^{(n)}=P(T_j=n|X_0=j)$，即从状态$j$出发经过$n$步才第一次返回$j$状态的概率。由于$T_j$是最小首次返回时间，故
$$f_{jj}^{(n)}=P(T_j=n|X_0=j)=P(X_n=j,X_1\cdots ,X_{n-1}\ne j|X_0=j)$$
因此可以换一种方式定义常返：
$$\begin{array}{rl}& P(T_j<\infty |X_0=j)\\ =& \sum _{n=1}^{\infty }P(T_j=n|X_0=j)\\ =& \sum _{n=1}^{\infty }{f}_{jj}^{(n)}=1\end{array}$$
这样常返可以表现为${\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}=1$，瞬时可以表现为${\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}<1$。同时定义常返状态$j$的平均返回时为${\tau }_j=E(T_j|X_0=j)={\sum }_{n=1}^{\infty }n{f}_{jj}^{(n)}$，这样正常返即${\tau }_j<\infty$，零常返即${\tau }_j=\infty$。

• 因此得到通过$n$步首次返回概率$f_{jj}^{(n)}$验证常返性的方法：对于状态$j$，对每个步数$n\ge 1$求$f_{ii}^{(n)}$，根据${\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}$和${\sum }_{n=1}^{\infty }n{f}_{jj}^{(n)}$来判断状态$j$的常返性。
• 这种方法适用于求$f_{jj}^{(n)}$简单的Markov链，对于复杂的Markov链并不适用。

由于$p_{jj}^{(n)}$相对于$f_{jj}^{(n)}$没有首次返回的要求，可以得到它们之间的联系以及与常返状态的联系：
$$\begin{array}{rl}{p}_{jj}^{(n)}=& P(X_n=j|X_0=j)\\ =& \sum _{k=1}^{n}P(T_j=k,X_n=j|X_0=j)\\ =& \sum _{k=1}^{n}P(T_j=k|X_0=j)P(X_n=j|X_k=j)\\ =& \sum _{n=1}^k{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}\\ & \\ \sum _{n=1}^{\infty }{p}_{jj}^{(n)}=& \sum _{n=1}^{\infty }\sum _{k=1}^n{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^{\infty }\sum _{n=k}^{\infty }{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^{\infty }{f}_{jj}^{(k)}\sum _{n=k}^{\infty }{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^{\infty }{f}_{jj}^{(k)}\sum _{n=0}^{\infty }{p}_{jj}^{(n)}=\sum _{k=1}^{\infty }{f}_{jj}^{(k)}\left(1+\sum _{n=1}^{\infty }{p}_{jj}^{(n)}\right)\end{array}$$
如果${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}<\infty$，则显然有${\sum }_{k=1}^{\infty }{f}_{jj}^{(k)}<1$，说明状态$j$瞬时；如果${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}=\infty$，则$\forall M\ge 1$，
$$\begin{array}{rl}\sum _{n=1}^M{p}_{jj}^{(n)}=& \sum _{n=1}^M\sum _{k=1}^n{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^M\sum _{n=k}^M{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^M{f}_{jj}^{(k)}\sum _{n=k}^M{p}_{jj}^{(n-k)}\\ =& \sum _{k=1}^M{f}_{jj}^{(k)}\sum _{n=0}^{M-k}{p}_{jj}^{(n)}\le \sum _{k=1}^M{f}_{jj}^{(k)}\left(1+\sum _{n=1}^M{p}_{jj}^{(n)}\right)\\ & \\ \sum _{k=1}^M{f}_{jj}^{(k)}\ge & \frac{\sum _{n=1}^M{p}_{jj}^{(n)}}{1+\sum _{n=1}^M{p}_{jj}^{(n)}}\end{array}$$
令$M\to \infty$，得到${\sum }_{k=1}^{\infty }{f}_{jj}^{(k)}\ge 1$，故${\sum }_{k=1}^{\infty }{f}_{jj}^{(k)}=1$，得到$j$状态正常返。综合以上，可以发现$j$常返等价于${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}=\infty$，瞬时等价于${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}<\infty$。

由此可以推出相关定理：

1. 如果$j$是瞬时或零常返状态，那么$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}=0$；
2. 如果$j$是周期为$d_j$且正常返的，那么$\underset{n\to \infty }{\lim }{p}_{jj}^{(n{d}_j)}=\frac{d_j}{{\tau }_j}$，对于非周期状态则有$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}=\frac{1}{{\tau }_j}$。

• 由此得到通过$n$步到达概率$p_{jj}^{(n)}$判断状态常返性的方法：对于状态$j$，${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}=\infty$可推出常返，${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}<\infty$可推出瞬时，$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}$可推出平均首中时${\tau }_j$，特别地如果$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}$则说明是瞬时或零常返。

3. 如果$j$是零常返或瞬时状态，那么对任意状态$i$，有$\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}=0$；
4. 如果$j$是非周期正常返的，那么对任意状态$i$，有$\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}=\frac{f_{ij}}{{\tau }_j}$，这里$f_{ij}$是从$i$出发可达$j$的概率。

有限状态Markov链一定存在正常返状态。若每个状态都是瞬时或零常返的，那么有
$$\begin{gathered} \underset{n\to \infty }{\lim }{p}_{ij}^{(n)}=1 \\ 1=\underset{n\to \infty }{\lim }\sum _{j=1}^N{p}_{ij}^{(n)}=\sum _{j=1}^N\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}=0，矛盾 \end{gathered}$$
现定义$M_j$为Markov链运行过程中，处于状态$j$的总次数，即
M j = ♯ { n ≥ 0 : X n = j } M_j=\sharp\{n\ge 0:X_n=j\} Mj​=♯{n≥0:Xn​=j}
有相关定理如下：

1. 如果$j$是常返状态，那么$P(M_j=\infty |X_0=j)=1$；

2. 如果$j$是瞬时状态，那么$P(M_j<\infty |X_0=j)=1$。在这种情况下，令
   $$\rho =P(T_j<\infty |X_0=j)=\sum _{k=1}^{\infty }{f}_{jj}^{(k)}<1$$
   则有$M_j$服从参数为$1-\rho$的几何分布，$P(M_j=n|X_0=j)=(1-\rho ){\rho }^{n-1}$，这代表从状态$j$出发还能回到状态$j$的概率是$\rho$，一旦以概率$1-\rho$进入了不可返回$j$的状态则$M_j$将不再增长，每次在$j$状态进行一次两点分布抽样。

现在对以上提到的定义做一些区分：

• $T_j$：从状态$i$出发后，状态$j$的首中时。如果状态$i=j$，则代表从$j$出发的首返时。
• $f_{ij}$：从状态$i$出发后能到达$j$的概率。如果$i=j$，则代表从$j$出发后能够再次回到$j$的概率。
• $f_{jj}^{(n)}$：从状态$j$出发后经过$n$步能恰好首次回到$j$的概率，$f_{jj}={\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}$。
• $p_{jj}^{(n)}$：从状态$j$出发后经过$n$步能回到$j$的概率，$p_{jj}^{(n)}={\sum }_{k=1}^n{f}_{jj}^{(k)}{p}_{jj}^{(n-k)}$。
• ${\tau }_j$：状态$j$的平均首中时，定义为$E(T_j|X_0=j)$，对于正常返态有$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}=\frac{1}{{\tau }_j}$。
• $M_j$：Markov链运行过程中到达状态$j$的次数，对于瞬时态服从几何分布。
• 常返：$P(T_j<\infty |X_0=j)=1$或${\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}=1$或${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}=\infty$。
• 瞬时：$P(T_j<\infty |X_0=j)<1$或${\sum }_{n=1}^{\infty }{f}_{jj}^{(n)}<1$或${\sum }_{n=1}^{\infty }{p}_{jj}^{(n)}<\infty$。
• 零常返：$E(T_j|X_0=j)=\infty$或常返条件下$\underset{n\to \infty }{\lim }{p}_{jj}^{(n)}=0$。