马尔可夫链是一种数学模型，用于描述一个系统随时间演变的行为，其特性是未来状态仅依赖于当前状态，而不依赖于先前的状态。在该模型中，状态间的转移概率是关键，可以通过一步转移概率矩阵来表示。马尔可夫链广泛应用于预测、建模等领域，如销售预测、文本生成等。确定模型需要识别状态空间和转移概率，并可根据历史数据估计这些参数。
马尔可夫链的定义
现实世界中有很多这样的现象：某一个系统在已知现在的条件下，系统未来时刻的情况只与现在有关，而与过去的历史无关，比如，研究一个商店的累计销售额，如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻累计销售额无关。描述这类随机现象的数学模型称为马尔可夫模型。
数学表达
设 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}是一个随机序列，状态空间 E E E为有限或可列集，对于任意的正整数 m , n m,n m,n，若 i , j , i k ∈ E ( k = 1 , ⋅ ⋅ ⋅ , n − 1 ) , i,j,i_k\in E(k=1,···,n-1), i,j,ik∈E(k=1,⋅⋅⋅,n−1),有
P { ξ n + m = j ∣ ξ n = i , ξ n − 1 = i n − 1 , ⋅ ⋅ ⋅ , ξ 1 = i 1 } = P { ξ n + m = j ∣ ξ n = i } P\{\xi_{n+m}=j|\xi_n=i,\xi_{n-1}=i_{n-1},···,\xi_1=i_1\}=P\{\xi_{n+m}=j|\xi_n=i\} P{ξn+m=j∣ξn=i,ξn−1=in−1,⋅⋅⋅,ξ1=i1}=P{ξn+m=j∣ξn=i}
则称 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}为一个马尔可夫链。
-
事实上，证明该等式对于 m = 1 m=1 m=1成立，则它对于任意的正整数 m m m也成立，则只要当 m = 1 m=1 m=1时等式成立，则可以称 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}为马尔可夫链。
-
设 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}是一个马尔可夫链，则上述等式右边的条件概率与 n n n无关，即
P { ξ n + m = j ∣ ξ n = i } = p i j ( m ) P\{\xi_{n+m}=j|\xi_n=i\}=p_{ij}(m) P{ξn+m=j∣ξn=i}=pij(m)
则称 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}为时齐的马尔可夫链，称 p i j ( m ) p_{ij}(m) pij(m)为系统由状态 i i i经过 m m m个时间间隔转移到状态 j j j的转移概率。
转移概率与转移概率矩阵
对于一个马尔可夫链 { ξ n , n = 1 , 2 , ⋅ ⋅ ⋅ } \{\xi_n,n=1,2,···\} {ξn,n=1,2,⋅⋅⋅}，称以 m m m步转移概率 p i j ( m ) p_{ij}(m) pij(m)为元素的矩阵 P ( m ) = ( p i j ( m ) ) P(m)=(p_{ij}(m)) P(m)=(pij(m))为马尔可夫链的 m m m步转移矩阵。当 m = 1 m=1 m=1时，记 P ( 1 ) = P P(1)=P P(1)=P称为马尔可夫链的一步转移矩阵
它有如下三条性质：
- 对一切 i , j ∈ E , 0 ≤ p i j ( m ) ≤ 1 i,j\in E,0\leq p_{ij}(m)\leq 1 i,j∈E,0≤pij(m)≤1
- 对于一切 i ∈ E , ∑ j ∈ E p i j ( m ) = 1 i\in E,\sum_{j\in E}p_{ij}(m)=1 i∈E,∑j∈Epij(m)=1
- 对一切
i
,
j
∈
E
i,j\in E
i,j∈E
当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然后确定它的一步转移概率，关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。
759
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
