本文深入探讨了马氏链的概念，包括其定义、独立增量过程与马氏性的关系，以及时齐马氏链的一步和多步转移概率。通过C-K方程解析了多步转移概率矩阵，并介绍了简单随机游动作为马氏链的一个实例。文章还提到了马氏链的等价叙述和在概率论、线性代数和机器学习中的重要性。
第三课:马氏链
1.定义
设 X = { X n : n ∈ N } X=\{X_n: n \in \N\} X={ Xn:n∈N} 是状态空间为 S ∈ Z S \in \Z S∈Z 的随机过程, 若对 ∀ n ∈ N \forall n \in \N ∀n∈N 和 ∀ i 0 , i 1 , . . . , i n − 1 , i , j ∈ S \forall i_0,i_1,...,i_{n-1},i,j \in S ∀i0,i1,...,in−1,i,j∈S 有 P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , . . . , X 0 = i 0 ) = P ( X n + 1 = j ∣ X n = i ) P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},...,X_0=i_0)=P(X_{n+1}=j|X_n=i) P(Xn+1=j∣Xn=i,Xn−1=in−1,...,X0=i0)=P(Xn+1=j∣Xn=i) , 则称 X X X 为马氏链.
2. 注记
-
将 X n + 1 X_{n+1} Xn+1视作未来 ， X n X_n Xn视作现在 ， X 0 , . . . , X n − 1 X_0,...,X_{n-1} X0,...,Xn−1视作过去 , 马氏链说的是 具有 马氏性(未来仅与现在有关，与过去无关) 的随机过程.
-
进一步, 如果等式 P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , . . . , X 0 = i 0 ) = P ( X n + 1 = j ∣ X n = i ) P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},...,X_0=i_0)=P(X_{n+1}=j|X_n=i) P(Xn+1=j∣Xn=i,Xn−1=in−1,...,X0=i0)=P(Xn+1=j∣Xn=i) ，只与状态 i , j i,j i,j 有关，与起点 n n n 无关时，就称 X X X为时齐马氏链.
-
独立增量过程 ⇒ \Rightarrow ⇒ 马氏过程 ；马氏过程 ⇏ \nRightarrow ⇏ 独立增量过程
证明思路: 【先证明独立增量过程 ⇒ \Rightarrow ⇒马氏过程】
要证明马氏性, 就要从 P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , . . . , X 0 = i 0 ) P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},...,X_0=i_0) P(Xn+1=j∣Xn=i,Xn−1=in−1,...,X0=i0)入手,要证明该条件概率等于 P ( X n + 1 = j ∣ X n = i ) P(X_{n+1}=j|X_n=i) P(Xn+1=j∣Xn=i)
一方面, P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , . . . , X 0 = i 0 ) = P ( X n + 1 − X n = j − i ∣ X n − X n − 1 = i − i n − 1 , . . . , X 1 − X 0 = i 1 − i 0 , X 0 = i 0 ) P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},...,X_0=i_0)=P(X_{n+1}-X_n=j-i|X_n-X_{n-1}=i-i_{n-1},...,X_1-X_0=i_1-i_0,X_0=i_0) P(Xn+1=j∣Xn=i,Xn−1=in−1,...,X0=i0)=P(Xn+1−Xn=j−i∣Xn−Xn−1=i−in−1,...,X1−X0=i1
最低0.47元/天 解锁文章
扫一扫
7561
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
