马尔可夫链的概念及转移概率

马尔可夫链的定义

假设马尔可夫过程 { X n , n ∈ T } \{X_n,n\in T \} {Xn​,n∈T}的参数集$T$是离散的时间集合，即 T = { 0 , 1 , 2 , ⋯   } T=\{0,1,2,\cdots\} T={0,1,2,⋯}，其相应的$X_n$可能取值的全体组成的状态空间是离散的状态集 I = { i 0 , i 1 , i 2 , ⋯   } I=\{i_0,i_1,i_2,\cdots\} I={i0​,i1​,i2​,⋯} 。
定义1： 若随机过程 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}对于任意的非负整数$n\in T$和任意的$i_0$，$i_1$，$\cdots$，$i_{n+1}\in I$，其条件概率满足 P { X n + 1 = i n + 1 ∣ X 0 = i 0 , X 1 = i 1 , ⋯   , X n = i n } = P { X n + 1 = i n + 1 ∣ X n = i n } \begin{aligned}&P\{X_{n+1}=i_{n+1}|X_0=i_0,X_1=i_1,\cdots,X_n=i_n\}\\=&P\{X_{n+1}=i_{n+1}|X_n=i_n\}\end{aligned} =​P{Xn+1​=in+1​∣X0​=i0​,X1​=i1​,⋯,Xn​=in​}P{Xn+1​=in+1​∣Xn​=in​}​则称 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}为马尔可夫链，简称马氏链。
 马尔可夫链的马尔可夫性（或无后效性）的数学表达式，由定义知 P ( X 0 = i 0 , X 1 = i 1 , ⋯   , X n = i n ) = P ( X n = i n ∣ X 0 = i 0 , X 1 = i 1 , ⋯   , X n − 1 = i n − 1 ) P ( X 0 = i 0 , X 1 = i 1 , ⋯   , X n − 1 = i n − 1 ) = P { X n = i n ∣ X n − 1 = i n − 1 } P { X 0 = i 0 , X 1 = i 1 , ⋯   , X n − 1 = i n − 1 } = ⋯ = P { X n = i n ∣ X n − 1 = i n − 1 } P { X n − 1 = i n − 1 ∣ X n − 2 = i n − 2 } ⋯ P { X 1 = i 1 ∣ X 0 = i 0 } P { X 0 = i 0 } \begin{aligned}&P(X_0=i_0,X_1=i_1,\cdots,X_n=i_n)\\=&P(X_n=i_n|X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1})P(X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1})\\=&P\{X_n=i_n|X_{n-1}=i_{n-1}\}P\{X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1}\}\\=&\cdots\\=&P\{X_n=i_n|X_{n-1}=i_{n-1}\}P\{X_{n-1}=i_{n-1}| X_{n-2}=i_{n-2}\}\cdots P\{X_1=i_1|X_0=i_0\}P\{X_0=i_0\}\end{aligned} ====​P(X0​=i0​,X1​=i1​,⋯,Xn​=in​)P(Xn​=in​∣X0​=i0​,X1​=i1​,⋯,Xn−1​=in−1​)P(X0​=i0​,X1​=i1​,⋯,Xn−1​=in−1​)P{Xn​=in​∣Xn−1​=in−1​}P{X0​=i0​,X1​=i1​,⋯,Xn−1​=in−1​}⋯P{Xn​=in​∣Xn−1​=in−1​}P{Xn−1​=in−1​∣Xn−2​=in−2​}⋯P{X1​=i1​∣X0​=i0​}P{X0​=i0​}​可见，马尔可夫链的统计特性完全由条件概率 P { X n + 1 = i n + 1 ∣ X n = i n } P\{X_{n+1}=i_{n+1}|X_n=i_n\} P{Xn+1​=in+1​∣Xn​=in​}所决定。

转移概率

条件概率 P { X n + 1 = j ∣ X n = i } P\{X_{n+1}=j|X_n=i\} P{Xn+1​=j∣Xn​=i}的直观含义为系统在时刻$n$处于状态$i$的条件下，在时刻$n+1$系统处于状态$j$的概率。它相当于随机游动的质点在时刻$n$处于状态$i$的条件下，下一步转移到状态$j$的概率，记此条件概率为$p_{ij}(n)$，其严格定义如下：
定义2： 称条件概率 p i j = P { X n + 1 = j ∣ X n = i } p_{ij}=P\{X_{n+1}=j|X_n=i\} pij​=P{Xn+1​=j∣Xn​=i}为马尔可夫链 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}在时刻$n$的一步转移概率简称为转移概率，其中$i,j\in I$。
 一般地，转移概率$p_{ij}(n)$不仅于状态$i$和$j$有关，而且与时刻$n$有关，当$p_{ij}(n)$不依赖于时刻$n$时，表示马尔可夫链具有平稳转移概率。

定义3： 若对任意的$i,j\in I$，马尔可夫链 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}的转移概率$p_{ij}(n)$与$n$无关，则称马尔可夫链 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}是齐次的，并记$p_{ij}(n)$为$p_{ij}$。
 设$\mathbf{P}$为一步转移概率$p_{ij}$所组成的矩阵，且状态空间 I = { 1 , 2 , ⋯   } I=\{1,2,\cdots\} I={1,2,⋯}，称$$\mathbf{P}=\left(\begin{array}{lllll}{p}_{11}& p_{12}& \cdots & p_{1n}& \cdots \\ p_{21}& p_{22}& \cdots & p_{2n}& \cdots \\ \cdots & \cdots & \cdots & \cdots & \cdots \end{array}\right)$$为系统状态的一步转移概率矩阵，它具有性质：

• $p_{ij}\ge 0，i,j\in I$
• $\sum _{j\in I}{p}_{ij}=1,i\in I$
  满足上述性质的矩阵为随机矩阵。

定义4： 称条件概率 p i j ( n ) = P { X m + n = j ∣ X m = i } , i , j ∈ I , m ≥ 0 , n ≥ 1 p^{(n)}_{ij}=P\{X_{m+n}=j|X_m=i\},\quad i,j\in I,m\ge0,n \ge 1 pij(n)​=P{Xm+n​=j∣Xm​=i},i,j∈I,m≥0,n≥1为马尔可夫链 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}的$n$步转移概率，并称$${\mathbf{P}}^{(n)}=\left(p_{ij}^{(n)}\right)$$为马尔可夫链的$n$步转移矩阵，其中$p_{ij}^{(n)}\ge 0$，$\sum _{j\in I}{p}_{ij}^{(n)}=1$，即${\mathbf{P}}^{(n)}$也是随机矩阵。
 当$n=1$时，$p_{ij}^{(1)}=p_{ij}$，此时一步转移矩阵${\mathbf{P}}^{(1)}=\mathbf{P}$，此外规定$$p_{ij}^{(0)}=\{\begin{array}{ll}0,& i\ne j,\\ 1,& i=j.\end{array}$$
定理1： 设 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}为马尔可夫链，则对任意整数$n\ge 0$，$0\le l<n$和$i,j\in I$，$n$步转移概率$p_{ij}^{(n)}$具有下列性质：
（1）$p_{ij}^{(n)}=\sum _{k\in I}{p}_{ik}^l{p}_{kj}^{(n-l)};$
（2）$p_{ij}^{(n)}=\sum _{k_1\in I}\cdots \sum _{k_{n-1}\in I}{p}_{i{k}_1}{p}_{k_1{k}_2}\cdots p_{k_{n-1}j};$
（3）${\mathbf{P}}^{(n)}=\mathbf{P}{\mathbf{P}}^{(n-1)};$
（4）${\mathbf{P}}^{(n)}={\mathbf{P}}^n$
证明：
（1）利用全概率公式及马尔可夫性，有 p i j ( n ) = P { X m + n = j ∣ X m = i } = P { X m = i , X m + n = j } P { X m = i } = ∑ k ∈ I P { X m = i , X m + l = k , X m + n = j } P { X m = i , X m + l = k } ⋅ P { X m = i , X m + l = k } P { X m = i } = ∑ k ∈ I P { X m + n = j ∣ X m + l = k } P { X m + l = k ∣ X m = i } = ∑ k ∈ I p k j ( n − l ) ( m + l ) p ( l ) ( m ) = ∑ k ∈ I p i k ( l ) p k j n − l \begin{aligned}p^{(n)}_{ij}&=P\{X_{m+n}=j|X_m=i\}=\frac{P\{X_m=i,X_{m+n}=j\}}{P\{X_m=i\}}\\&=\sum\limits_{k\in I}\frac{P\{X_m=i,X_{m+l}=k,X_{m+n}=j\}}{P\{X_m=i,X_{m+l}=k\}}\cdot \frac{P\{X_m=i,X_{m+l}=k\}}{P\{X_m=i\}} \\&=\sum\limits_{k \in I}P\{X_{m+n}=j|X_{m+l}=k\}P\{X_{m+l}=k|X_m=i\}\\&=\sum\limits_{k\in I}p^{(n-l)}_{kj}(m+l)p^{(l)}(m)=\sum\limits_{k\in I}p^{(l)}_{ik}p^{n-l}_{kj} \end{aligned} pij(n)​​=P{Xm+n​=j∣Xm​=i}=P{Xm​=i}P{Xm​=i,Xm+n​=j}​=k∈I∑​P{Xm​=i,Xm+l​=k}P{Xm​=i,Xm+l​=k,Xm+n​=j}​⋅P{Xm​=i}P{Xm​=i,Xm+l​=k}​=k∈I∑​P{Xm+n​=j∣Xm+l​=k}P{Xm+l​=k∣Xm​=i}=k∈I∑​pkj(n−l)​(m+l)p(l)(m)=k∈I∑​pik(l)​pkjn−l​​
（2）在（1）中令$l=1,k=k_1$，得$$p_{ij}^{(n)}=\sum _{k_1\in I}{p}_{i{k}_1}{p}_{k_{1}j}^{(n-1)}$$这是一个递推公式，故可递推得到$$p_{ij}^{(n)}=\sum _{k_1\in I}\cdots \sum _{k_{n-1}\in I}{p}_{i{k}_1}{p}_{k_1{k}_2}\cdots p_{k_{n-1}j}$$
（3）在（1）中令$l=1$，利用矩阵乘法可证。
（4）由（3），利用归纳法可证。
上述定理（1）式称为切普曼-柯尔莫哥洛夫方程，简称$C$-$K$方程。

定义5： 设 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}为马尔可夫链，称 p j = P { X 0 = j } , p j ( n ) = P { X n = j } , j ∈ I p_j=P\{X_0=j\},\quad p_j(n)=P\{X_n=j\},\quad j\in I pj​=P{X0​=j},pj​(n)=P{Xn​=j},j∈I分别为 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}的初始概率和绝对概率，并分别称 { p j , j ∈ I } \{p_j,j\in I\} {pj​,j∈I}和 { p j ( n ) , j ∈ I } \{p_j(n),j\in I\} {pj​(n),j∈I}为 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}的初始分布和绝对分布，简记为 { p j } \{p_j\} {pj​}和 { p j ( n ) } \{p_j(n)\} {pj​(n)}，称概率向量$${\mathbf{p}}^{\top }(n)=(p_1(n),p_2(n),\cdots ),n>0$$为$n$时刻的绝对概率向量，而称$p^{\top }(0)=(p_1,p_2,\cdots )$为初始概率向量。


定理2： 设 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}为马尔可夫链，则对任意$j\in I$和$n\ge 1$，绝对概率$p_j(n)$具有下列性质：
（1）$p_j(n)=\sum _{i\in I}{p}_i{p}_{ij}^{(n)};$
（2）$p_j(n)=\sum _{i\in I}{p}_i(n-1)p_{ij};$
（3）${\mathbf{p}}^{\top }(n)={\mathbf{p}}^{\top }(0){\mathbf{P}}^{(n)};$
（4）${\mathbf{p}}^{\top }(n)={\mathbf{p}}^{\top }(n-1)\mathbf{P};$
证明：
（1）
p j ( n ) = P { X n = j } = ∑ i ∈ I P { X 0 = i , X n = j } = ∑ i ∈ I P { X n = j ∣ X 0 = i } P { X 0 = i } = ∑ i ∈ I p i p i j ( n ) \begin{aligned}p_j(n)&=P\{X_n=j\}=\sum\limits_{i\in I}P\{X_0=i,X_n=j\}\\&=\sum\limits_{i \in I}P\{X_n=j|X_0=i\}P\{X_0=i\}=\sum\limits_{i\in I}p_ip_{ij}^{(n)}\end{aligned} pj​(n)​=P{Xn​=j}=i∈I∑​P{X0​=i,Xn​=j}=i∈I∑​P{Xn​=j∣X0​=i}P{X0​=i}=i∈I∑​pi​pij(n)​​
（2）
p j ( n ) = P { X n = j } = ∑ i ∈ I P { X n = j , X n − 1 = i } = ∑ i ∈ I P { X n = j ∣ X n − 1 = i } P { X n − 1 = i } = ∑ i ∈ I p i ( n − 1 ) p i j \begin{aligned}p_j(n)&=P\{X_n=j\}=\sum\limits_{i\in I}P\{X_n=j,X_{n-1}=i\}\\&=\sum\limits_{i \in I}P\{X_n=j|X_{n-1}=i\}P\{X_{n-1}=i\}=\sum\limits_{i\in I}p_i(n-1)p_{ij}\end{aligned} pj​(n)​=P{Xn​=j}=i∈I∑​P{Xn​=j,Xn−1​=i}=i∈I∑​P{Xn​=j∣Xn−1​=i}P{Xn−1​=i}=i∈I∑​pi​(n−1)pij​​


定理3： 设 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}为马尔可夫链，则对任意$i_1,\cdots ,i_n\in I$和$n\ge 1$，有 P { X 1 = i 1 , ⋯   , X n = i n } = ∑ i ∈ I p i p i i 1 p i 1 i 2 ⋯ p i n − 1 i n P\{X_1=i_1,\cdots,X_n=i_n\}=\sum\limits_{i\in I}p_ip_{ii_1}p_{i_1i_2}\cdots p_{i_{n-1}i_n} P{X1​=i1​,⋯,Xn​=in​}=i∈I∑​pi​pii1​​pi1​i2​​⋯pin−1​in​​
证明：由全概率公式及马氏性有
P { X 1 = i 1 , ⋯   , X n = i n } = P { ⋃ i ∈ I { X 0 = i , X 1 = i 1 , ⋯   , X n = i n } } = ∑ i ∈ I P { X 0 = i , X 1 = i , ⋯   , X n = i n } = ∑ i ∈ I P { X 0 = i } P { X 1 = i 1 ∣ X 0 = i 0 } ⋯ ⋅ P { X n = i n ∣ X 0 = i , ⋯   , X n − 1 = i n − 1 } = ∑ i ∈ I P { X 0 = i } P { X 1 = i 1 ∣ X 0 = i } ⋯ P { X n = i n ∣ X n − 1 = i n − 1 } = ∑ i ∈ I p i p i i 1 ⋯ p i n − 1 i n \begin{aligned}P\{X_1=i_1,\cdots,X_n=i_n\}&=P\{\bigcup\limits_{i\in I}\{X_0=i,X_1=i_1,\cdots,X_n=i_n\}\}\\&=\sum\limits_{i\in I}P\{X_0=i,X_1=i,\cdots,X_n=i_n\}\\&=\sum\limits_{i\in I}P\{X_0=i\}P\{X_1=i_1|X_0=i_0\}\cdots\\&\cdot P\{X_n=i_n|X_0=i,\cdots,X_{n-1}=i_{n-1}\}\\&=\sum\limits_{i\in I}P\{X_0=i\}P\{X_1=i_1|X_0=i\}\cdots P\{X_{n}=i_n|X_{n-1}=i_{n-1}\}\\&=\sum\limits_{i\in I}p_ip_{ii_1}\cdots p_{i_{n-1}i_n}\end{aligned} P{X1​=i1​,⋯,Xn​=in​}​=P{i∈I⋃​{X0​=i,X1​=i1​,⋯,Xn​=in​}}=i∈I∑​P{X0​=i,X1​=i,⋯,Xn​=in​}=i∈I∑​P{X0​=i}P{X1​=i1​∣X0​=i0​}⋯⋅P{Xn​=in​∣X0​=i,⋯,Xn−1​=in−1​}=i∈I∑​P{X0​=i}P{X1​=i1​∣X0​=i}⋯P{Xn​=in​∣Xn−1​=in−1​}=i∈I∑​pi​pii1​​⋯pin−1​in​​​

 定理2表明绝对概率$p_j(n)$也具有类似于$n$步转移概率的性质。定理3则进一步说明马尔可夫链的有限维分布完全由它的初始概率和一部转移概率所决定。因此，只要知道初始概率和一步转移概率，就可以描述马尔可夫链的统计性质。