【应用随机过程】03. 马尔可夫链的状态

第三讲 马尔可夫链的状态

一、常返和暂留

Part 1：常返和暂留的定义

在马尔可夫链运行和转移的过程中，各个状态所起的作用不完全相同，因此我们要讨论几类特殊状态的特点，并给出状态空间的分解定理。设 { X n } \{X_n\} { Xn​} 是一个时齐马尔可夫链，这是我们这一节的研究对象。此外这一节的概念比较多，需要注意区分。

首中时：给定状态 $j\in I$ ，定义 τ j = inf ⁡ { n ≥ 1 : X n = j } \tau_j=\inf\{n\geq1:X_n=j\} τj​=inf{ n≥1:Xn​=j} ，称为 $j$ 的首中时。约定 $\inf \varnothing =\infty$ ，即如果不存在 $n\ge 1$ 使得 $X_n=j$ ，则定义 ${\tau }_j=\infty$ 。

首中时的含义是在零时刻从状态 $i$ 出发的马尔可夫链首次到达状态 $j$ 的时刻。

• 当 $X_0=i=j$ 时，${\tau }_j$ 表示马尔可夫链首次回到状态 $j$ 的时刻；
• 当 $X_0=i\ne j$ 时，${\tau }_j$ 表示马尔可夫链首次到达状态 $j$ 的时刻。

利用首中时的概念，我们可以将马尔可夫链的状态分为常返态和暂留态。

• 如果 $P({\tau }_j<\infty |X_0=j)=1$ ，则称 $j$ 是常返态。常返态的含义是从某一状态出发以概率 $1$ 在有限时间内返回该状态。
• 如果 $P({\tau }_j<\infty |X_0=j)<1$ ，则称 $j$ 是暂留态。暂留态的含义是从某一状态出发以一个正的概率不再返回该状态。

平均回转时：若状态 $j$ 是常返态，定义 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)$ ，称为 $j$ 的平均回转时。

利用平均回转时的概念，我们可以将常返态进一步分为正常返态和零常返态。

• 如果 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)<\infty$ ，则称 $j$ 是正常返态。
• 如果 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)=\infty$ ，则称 $j$ 是零常返态。

上述定义说明的是，在平均的意义下，正常返态的返回速度快于零常返态的返回速度。

简单回顾一下，这一部分我们介绍了两个概念——首中时和平均回转时。根据首中时我们将马尔可夫链的状态分为常返态和暂留态，根据平均回转时我们又将常返态分为了正常返态和零常返态。

Part 2：常返的判别条件 I

在上一节的学习中，我们知道马尔可夫链的性质常常用转移概率来刻画。在定义了常返态和暂留态之后，我们也希望能用一个概率来刻画常返态和暂留态的性质。

首先我们定义 $n$ 步首次击中概率和 $n$ 步首次返回概率。

• 令 $f_{ij}^{(n)}$ 表示从状态 $i$ 出发经过 $n$ 步之后首次击中状态 $j$ 的概率，则有

$$f_{ij}^{(n)}=P\left({\tau }_j=n|X_0=i\right)=P(X_n=j,X_{n-1}\ne j,\cdots ,X_1\ne j|X_0=i$$