连续状态马尔可夫链

19.2.3 连续状态马尔可夫链

连续状态马尔可夫链 X = { X 0 , X 1 , ⋯   , X t , ⋯   } X = \{X_0, X_1, \cdots, X_t, \cdots\} X={X0​,X1​,⋯,Xt​,⋯}，随机变量 $X_t(t=0,1,2,\cdots )$ 定义在连续状态空间 $S$，转移概率分布由概率转移核或转移核（transition kernel）表示。
设 $S$ 是连续状态空间，对于任意的 $x\in S,A\subset S$，转移核 $P(x,A)$ 定义为：
$$P(x,A)={\int }_{A}p(x,y)dy\text{\hspace{1em}(19.19)}$$
其中，$p(x,\cdot )$ 是概率密度函数，满足 $p(x,\cdot )\ge 0$；$P(x,S)={\int }_{S}p(x,y)dy=1$。转移核 $P(x,A)$ 表示从 $x\sim A$ 的转移概率：
$$P(X_t=A|X_{t-1}=x)=P(x,A)\text{\hspace{1em}(19.20)}$$
有时也将概率密度函数 $p(x,\cdot )$ 称为转移核。

若马尔可夫链的状态空间 $S$ 上的概率分布 $\pi (x)$ 满足条件：
$$\pi (y)=\int p(x,y)\pi (x)dx,\forall y\in S\text{\hspace{1em}(19.21)}$$
则称分布 $\pi (x)$ 为该马尔可夫链的平稳分布。等价地，
$$\pi (A)=\int P(x,A)\pi (x)dx,\forall A\subset S\text{\hspace{1em}(19.22)}$$
或简写为：
$$\pi =P\pi \text{\hspace{1em}(19.23)}$$

1. 问题背景

设马尔可夫链 X = { X 0 , X 1 , … , X t , …   } X = \{X_0, X_1, \dots, X_t, \dots \} X={X0​,X1​,…,Xt​,…}，其中：

• $X_t$ 是定义在连续状态空间 $S$ 上的随机变量。
• 转移概率分布通过转移核（Transition Kernel）或转移概率密度函数 $p(x,y)$ 表示。

状态空间 $S$：

• $S$ 是连续的状态集合，可以理解为实数空间（如 $\mathbb{R}$）或某个连续区间。

---

2. 转移核的定义

对于任意 $x\in S$ 和任意状态集合 $A\subset S$，转移核 $P(x,A)$ 定义为：

$$P(x,A)={\int }_{A}p(x,y)dy\text{(19.19)}$$

符号含义：

1. $p(x,y)$：从状态 $x$ 转移到状态 $y$ 的概率密度函数，满足：

   • $p(x,y)\ge 0$：密度非负；
   • ${\int }_{S}p(x,y)dy=1$：从状态 $x$ 转移到整个状态空间 $S$ 的概率为 $1$。

2. $P(x,A)$：表示从状态 $x$ 转移到状态集合 $A$ 的转移概率，由 $p(x,y)$ 在集合 $A$ 上的积分表示。

• $y$ 表示连续状态空间 $S$ 中的一个具体状态。
• $y\in A\subset S$：$y$ 是 $A$ 这个集合中的某个具体目标状态。
• 在 $P(x,A)$ 的计算中，在目标集合 $A$ 上对所有 $y$ 的概率密度进行求和（连续情形通过积分实现），求得从状态 $x$ 转移到集合 $A$ 的总概率。

---

3. 转移概率性质

给定转移核 $P(x,A)$，有如下性质：

$$P(X_t\in A\mid X_{t-1}=x)=P(x,A)\text{(19.20)}$$

• $P(X_t\in A\mid X_{t-1}=x)$：表示在时刻 $t-1$ 状态为 $x$ 时，转移到集合 $A$ 的概率；
• 该概率由转移核 $P(x,A)$ 描述。

举例说明
假设状态空间 $S$ 是实数轴 $\mathbb{R}$，给定一个状态 $x$，目标集合 $A=[a,b]\subset S$。

1. $p(x,y)$：从状态 $x$ 到任意状态 $y$ 的转移概率密度。
2. $P(x,A)$：从 $x$ 转移到 $A$ 的概率，表示为：
   $$P(x,A)={\int }_a^{b}p(x,y)dy$$
3. 通过公式 19.20：
   $$P(X_t\in [a,b]\mid X_{t-1}=x)=P(x,[a,b])$$
   这表明，马尔可夫链从 $x$ 出发，在下一步转移到区间 $[a,b]$ 的概率，只取决于当前状态 $x$ 和转移核 $p(x,y)$。

---

4. 平稳分布的定义

令 $\pi (x)$ 为定义在状态空间 $S$ 上的概率分布。如果 $\pi (x)$ 满足以下条件：

$$\pi (y)={\int }_{S}p(x,y)\pi (x)dx,\forall y\in S\text{(19.21)}$$

解释：

• 在平稳分布下，从所有可能的状态 $x$ 出发，转移到状态 $y$ 的总概率密度等于 $\pi (y)$。
• 这里的积分表示在连续状态空间上，对所有初始状态 $x$ 的加权平均（权重为平稳分布 $\pi (x)$）。

在平稳分布下，系统在状态 $y$ 的概率密度 $\pi (y)$ 等于从所有可能的起始状态 $x$ 出发，通过转移核 $p(x,y)$ 转移到状态 $y$ 的总概率密度。

• 右侧的积分：
• $p(x,y)\pi (x)$：从状态 $x$ 出发转移到状态 $y$ 的概率密度，同时考虑初始状态 $x$ 的概率密度 $\pi (x)$。
• ${\int }_{S}p(x,y)\pi (x)dx$：对所有可能的起始状态 $x$ 进行积分，得到转移到 $y$ 的总概率密度。
• 左侧的 $\pi (y)$：
• 在平稳分布下，系统最终处于状态 $y$ 的概率密度。

---

5. 等价条件

平稳分布的等价条件可以写成：

$$\pi (A)={\int }_{S}P(x,A)\pi (x)dx,\forall A\subset S\text{(19.22)}$$

解释：

• $\pi (A)$：表示平稳分布下，系统处于集合 $A$ 的概率；
• 右侧的积分表示从所有可能的初始状态 $x$ 出发，通过转移概率 $P(x,A)$ 转移到集合 $A$ 的总概率。

换句话说：

• 平稳分布的概率密度在一次转移后保持不变，整个分布是稳定的。

---

6. 矩阵形式

当状态空间 $S$ 离散化时，上述积分方程可简化为矩阵形式：

$$\pi =P\pi \text{(19.23)}$$

解释：

• $\pi$：平稳分布向量；
• $P$：转移概率矩阵（离散情形）或转移核 $p(x,y)$ 的离散形式；
• 这表示平稳分布在转移后的分布仍然是自身，具有自洽性。

---

总结

1. 在连续状态空间中，马尔可夫链的转移概率由转移核 $p(x,y)$ 定义；
2. $P(x,A)$ 表示从状态 $x$ 转移到集合 $A$ 的概率；
3. 平稳分布 $\pi (x)$ 满足：
   • 平衡条件（积分形式）；
   • 转移后的分布保持不变。

这些定义和性质为连续状态马尔可夫链的平稳分布理论奠定了基础，在蒙特卡洛方法、随机过程和物理建模中有重要应用。