Chapman-Kolmogorov 定理

Chapman-Kolmogorov 定理是关于马尔可夫链转移概率的定理，它描述了链在不同时间步之间的转移概率如何组合。

假设有一个离散时间的马尔可夫链，其状态空间为$S$，转移概率矩阵为$P$，表示在一步时间后从状态 $i$ 转移到状态 $j$ 的概率为 $P_{ij}$。Chapman-Kolmogorov 定理说明了在任意$n$步时间后，链从状态 $i$ 转移到状态 $j$ 的概率，用 $P_{ij}^{(n)}$表示：

$$P_{ij}^{(n)}=\sum _{k\in S}{P}_{ik}^{(n-1)}\cdot P_{kj}$$

这个定理的核心是：从状态 $i$ 经过 $n$ 步到达状态 $j$的概率，等于在$n-1$步内从状态$i$ 到达其他所有可能的状态 $k$ 的概率$P_{ik}^{(n-1)}$，然后再从状态$k$转移到状态$j$的概率$P_{kj}$的总和。

这个定理非常重要，因为它允许我们计算马尔可夫链在任意时间步之后状态转移的概率。通过递归地应用转移概率矩阵$P$，可以计算链在未来时间步的状态分布情况，以及链在长时间内的行为特性，比如收敛到平稳分布的情况。

当涉及马尔可夫链和 Chapman-Kolmogorov 定理时，我们可以考虑一个简单的例子。

假设我们有一个具有三个状态的马尔可夫链，状态空间为 { 晴天 ( S u n n y ) , 阴天 ( C l o u d y ) , 雨天 ( R a i n y ) } \{晴天 (Sunny), 阴天 (Cloudy), 雨天 (Rainy)\} {晴天(Sunny),阴天(Cloudy),雨天(Rainy)}。假设该链的转移概率如下：
$$P=\left[\begin{array}{ccc}0.6& 0.3& 0.1\\ 0.2& 0.6& 0.2\\ 0.3& 0.4& 0.3\end{array}\right]$$
现在我们想计算这个链在 2 步时间后从状态 S 转移到状态 R 的概率 $P_{SR}^{(2)}$。

根据 Chapman-Kolmogorov 定理：

$P_{SR}^{(2)}={\sum }_{k\in S}{P}_{Sk}^{(1)}\cdot P_{kR}$

其中 $P_{Sk}^{(1)}$表示在一步时间后从状态 $S$ 转移到状态 $k$ 的概率。

$$\begin{gathered} P_{SR}^{(2)}={\sum }_{k\in S}{P}_{Sk}^{(1)}\cdot P_{kR}=P_{SS}^{(1)}\cdot P_{SR}+P_{SC}^{(1)}\cdot P_{CR}+P_{SR}^{(1)}\cdot P_{RR} \\ =0.6\times 0.1+0.3\times 0.2+0.1\times 0.3=0.15 \end{gathered}$$