马尔科夫链的性质：不可约和正常返的区别和联系

正常返和不可约是马尔可夫链中的两个不同概念，虽然它们常常同时出现，但描述的是不同的性质。下面详细解释它们的区别和联系。

---

1. 不可约（Irreducibility）

定义：

• 马尔可夫链是不可约的，表示从任意状态 $i$ 出发，经过有限步转移，总能以正概率到达任意另一个状态 $j$。
• 数学表述：
  $$\exists t\ge 0,\text{使得}{P}_{ij}^t>0,\forall i,j\in S$$
  这里 $P_{ij}^t$ 是从状态 $i$ 出发在 $t$ 步后到达状态 $j$ 的概率。

直观理解：

• 系统的状态之间全部连通，没有孤立的状态子集。
• 状态空间 $S$ 是“单一连通”的，系统可以从任何状态到达其他状态。

例子：

• 在一个马尔可夫链中，如果状态 1 可以到状态 2，状态 2 也能回到状态 1，那么这两个状态是连通的。
• 如果对于所有状态 $i$ 和 $j$，这样的连通性都存在，则整个链是不可约的。

---

2. 正常返（Positive Recurrence）

定义：

• 马尔可夫链是正常返的，表示系统从任意状态 $i$ 出发，返回到该状态的平均时间是有限的。
• 数学表述：
  • 定义首次返回到状态 $i$ 的时间 $T_i$，如果：
    $$E[T_i\mid X_0=i]<\infty ,\forall i\in S$$
    则称该马尔可夫链是正常返的。

直观理解：

• 系统从某个状态 $i$ 出发，返回到该状态的概率为正，并且返回所需的平均时间是有限的。
• 如果返回时间趋于无穷大或返回的概率为零，那么系统就不是正常返的。

例子：

• 如果系统不断向某一方向漂移（例如随机游走中，向右漂移且不返回），返回到初始状态的平均时间会趋于无穷大，这时系统不是正常返的。

---

3. 区别总结

性质	不可约	正常返
定义	状态之间是连通的，可以到达任何状态。	系统返回到状态的平均时间是有限的。
关注点	关注状态之间是否可以连通。	关注状态是否可以在有限时间内返回，且概率为正。
数学描述	$\exists t\ge 0,P_{ij}^t>0$	$E[T_i\mid X_0=i]<\infty$
本质	连通性：状态之间的可达性。	返回性：状态返回的时间和概率。
系统行为	状态之间无孤立或分裂的子集。	状态可以有限时间内返回自身。
示例	所有状态连成一体，彼此可达。	若某些状态永远不会返回，或返回时间无限大，则非正常返。

---

4. 两者的联系

1. 不可约 ≠ 正常返：

   • 不可约性保证了状态之间可以相互到达，但并不保证返回到某个状态的时间是有限的。
   • 例如，在某些随机游走模型中，系统可以到达所有状态（不可约），但系统可能无法返回到初始状态（非正常返）。

2. 正常返 → 一定不可约？

   • 不一定！ 正常返是对单个状态的性质描述，但整体链可能仍然是可分割的。例如一个状态空间包含两个互不连通的子集，各自独立地满足正常返，但整个链是可约的。

3. 结合定理 19.3：

   • 定理 19.3 说明：不可约、非周期且正常返的马尔可夫链具有唯一平稳分布。

   • 所以：

     • 不可约保证了状态之间的连通性；
     • 正常返保证了系统可以返回自身状态且返回时间有限；
     • 两者结合使得系统收敛到唯一的平稳分布。

---

5. 举例说明

例子 1：不可约但非正常返

• 一个随机游走链：
  在无穷状态空间 { 0 , 1 , 2 , …   } \{0, 1, 2, \dots\} {0,1,2,…}，系统以相等的概率向左或向右移动。
  • 状态之间是连通的（不可约）。
  • 但系统可能永远无法返回到初始状态，返回时间趋于无穷大，因此系统非正常返。

例子 2：不可约且正常返

• 有限状态空间内的平衡随机游走：
  在有限状态空间 { 1 , 2 , 3 } \{1, 2, 3\} {1,2,3}，系统状态之间有转移概率。
  • 状态之间是连通的（不可约）。
  • 系统一定会在有限时间内返回到某个状态，且返回时间有限，因此正常返。

---

6. 小结

• 不可约：关注状态之间的可达性，保证状态空间是“连通”的。
• 正常返：关注系统返回到某个状态的平均时间是否有限。
• 两者的结合（不可约 + 正常返）是保证系统存在唯一平稳分布的必要条件。