文章目录
第二讲 马尔可夫链及其概率分布
一、马尔可夫链的定义
Part 1:条件概率
这一章开始之前,我们先对条件概率做一个回顾,这是概率论中非常重要的概念之一。在随机过程的学习中,马尔可夫链这部分内容就需要充分利用条件概率的相关知识。
条件概率的定义:对于任意两个事件 A A A 和 B B B ,假设 P ( B ) > 0 P(B)>0 P(B)>0 ,则在给定 B B B 的条件下, A A A 的条件概率为:
P ( A ∣ B ) = P ( A B ) P ( B ) . P(A|B)=\frac{P(AB)}{P(B)} \ . P(A∣B)=P(B)P(AB) .
下面我们总结一些和条件概率相关的常用计算公式:
- 乘法公式:条件概率的定义式可以改写为
P ( A B ) = P ( A ∣ B ) P ( B ) . P(AB)=P(A|B)P(B) \ . P(AB)=P(A∣B)P(B) .
- 链式法则:将乘法公式继续推广到多个事件,可以写为
P ( A 1 A 2 ⋯ A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 A 2 ) ⋯ P ( A n ∣ A 1 A 2 ⋯ A n − 1 ) . P(A_1A_2\cdots A_n)=P\left(A_1\right)P\left(A_2|A_1\right)P(A_3|A_1A_2)\cdots P\left(A_n|A_1A_2\cdots A_{n-1}\right) \ . P(A1A2⋯An)=P(A1)P(A2∣A1)P(A3∣A1A2)⋯P(An∣A1A2⋯An−1) .
- 全概率公式:设 S S S 为样本空间,事件 B 1 , B 2 , ⋯ , B N B_1,B_2,\cdots,B_N B1,B2,⋯,BN 为 S S S 的一个划分,则对任意事件 A A A 有
P ( A ) = ∑ j = 1 N P ( A ∣ B j ) P ( B j ) . P(A)=\sum_{j=1}^NP(A|B_j)P(B_j) \ . P(A)=j=1∑NP(A∣Bj)P(Bj) .
- 贝叶斯公式:设 S S S 为样本空间,事件 B 1 , B 2 , ⋯ , B N B_1,B_2,\cdots,B_N B1,B2,⋯,BN 为 S S S 的一个划分,则对任意事件 A A A 有
P ( B i ∣ A ) = P ( B i ) P ( A ∣ B i ) ∑ j = 1 N P ( A ∣ B j ) P ( B j ) . P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^NP(A|B_j)P(B_j)} \ . P(Bi∣A)=j=1∑NP(A∣Bj)P(Bj)P(Bi)P(A∣Bi) .
上述公式就是计算条件概率问题中最核心的内容,也是最有效的工具。关于条件概率的知识,我们就复习到这里。由于篇幅所限,关于条件分布的知识我们就默认已经掌握了。
Part 2:马尔可夫链的定义
首先我们定义一种表述方法,考虑只取有限个或可数个值的随机过程 { X n : n = 0 , 1 , 2 ⋯ } \{X_n:n=0,1,2\cdots\} { Xn:n=0,1,2⋯} ,若 X n = i X_n=i Xn=i ,则称过程在 n n n 时刻处于状态 i i i 。下面我们来定义马尔可夫性和马尔科夫链。
马尔可夫性:给定过去的状态 X 0 , X 1 , ⋯ , X n − 1 X_0,X_1,\cdots,X_{n-1} X0,X1,⋯,Xn−1 和现在的状态 X n X_n Xn ,将来的状态 X n + 1 X_{n+1} Xn+1 的条件分布与过去的状态独立,只依赖于现在的状态,这样的性质称为马尔可夫性。
如果我们用 A A A 表示过去的状态,用 B B B 表示现在的状态,而用 C C C 表示将来的状态,即
A = { X 0 = i 0 , X 1 = i 1 , ⋯ , X n − 1 = i n − 1 } , B = { X n = i n } , C = { X n + 1 = i n + 1 } , A=\{X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1}\} \ , \quad B=\{X_n=i_n\} \ , \quad C=\{X_{n+1}=i_{n+1}\} \ , A={
X0=i0,X1=i1,⋯,Xn−1=in−1} ,B={
Xn=in} ,C={
Xn+1=in+1} ,
则马尔可夫性可以用条件概率直观表示为
P ( C ∣ A B ) = P ( C ∣ B ) , P(C|AB)=P(C|B) \ , P(C∣AB)=P(C∣B) ,
由此可以等价推出
P ( A C ∣ B ) = P ( A B C ) P ( B ) = P ( A B ) P ( C ∣ A B ) P ( B ) = P ( A ∣ B ) P ( C ∣ A B ) = P ( A ∣ B ) P ( C ∣ B ) , P(AC|B)=\frac{P(ABC)}{P(B)}=\frac{P(AB)P(C|AB)}{P(B)}=P(A|B)P(C|AB)=P(A|B)P(C|B) \ , P(AC∣B)=P(B)P(ABC)=P(B)P(AB)P(C∣AB)