【应用随机过程】02. 马尔可夫链及其概率分布

第二讲 马尔可夫链及其概率分布

一、马尔可夫链的定义

Part 1：条件概率

这一章开始之前，我们先对条件概率做一个回顾，这是概率论中非常重要的概念之一。在随机过程的学习中，马尔可夫链这部分内容就需要充分利用条件概率的相关知识。

条件概率的定义：对于任意两个事件 $A$ 和 $B$ ，假设 $P(B)>0$ ，则在给定 $B$ 的条件下，$A$ 的条件概率为：
$$P(A|B)=\frac{P(AB)}{P(B)}.$$
下面我们总结一些和条件概率相关的常用计算公式：

1. 乘法公式：条件概率的定义式可以改写为

$$P(AB)=P(A|B)P(B).$$

2. 链式法则：将乘法公式继续推广到多个事件，可以写为

$$P(A_1{A}_2\cdots A_n)=P\left(A_1\right)P\left(A_2|A_1\right)P(A_3|A_1{A}_2)\cdots P\left(A_n|A_1{A}_2\cdots A_{n-1}\right).$$

3. 全概率公式：设 $S$ 为样本空间，事件 $B_1,B_2,\cdots ,B_N$ 为 $S$ 的一个划分，则对任意事件 $A$ 有

$$P(A)=\sum _{j=1}^{N}P(A|B_j)P(B_j).$$

4. 贝叶斯公式：设 $S$ 为样本空间，事件 $B_1,B_2,\cdots ,B_N$ 为 $S$ 的一个划分，则对任意事件 $A$ 有

$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum _{j=1}^{N}P(A|B_j)P(B_j)}.$$

上述公式就是计算条件概率问题中最核心的内容，也是最有效的工具。关于条件概率的知识，我们就复习到这里。由于篇幅所限，关于条件分布的知识我们就默认已经掌握了。

Part 2：马尔可夫链的定义

首先我们定义一种表述方法，考虑只取有限个或可数个值的随机过程 { X n : n = 0 , 1 , 2 ⋯   } \{X_n:n=0,1,2\cdots\} { Xn​:n=0,1,2⋯} ，若 $X_n=i$ ，则称过程在 $n$ 时刻处于状态 $i$ 。下面我们来定义马尔可夫性和马尔科夫链。

马尔可夫性：给定过去的状态 $X_0,X_1,\cdots ,X_{n-1}$ 和现在的状态 $X_n$ ，将来的状态 $X_{n+1}$ 的条件分布与过去的状态独立，只依赖于现在的状态，这样的性质称为马尔可夫性。

如果我们用 $A$ 表示过去的状态，用 $B$ 表示现在的状态，而用 $C$ 表示将来的状态，即
A = { X 0 = i 0 , X 1 = i 1 , ⋯   , X n − 1 = i n − 1 }   , B = { X n = i n }   , C = { X n + 1 = i n + 1 }   , A=\{X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1}\} \ , \quad B=\{X_n=i_n\} \ , \quad C=\{X_{n+1}=i_{n+1}\} \ , A={ X0​=i0​,X1​=i1​,⋯,Xn−1​=in−1​} ,B={ Xn​=in​} ,C={ Xn+1​=in+1​} ,
则马尔可夫性可以用条件概率直观表示为
$$P(C|AB)=P(C|B),$$
由此可以等价推出
$$P(AC|B)=\frac{P(ABC)}{P(B)}=\frac{P(AB)P(C|AB)}{P(B)}$$