随机过程：马尔科夫链

马尔科夫链

$$\begin{gathered} p_{90}马尔可夫过程像下飞行棋一样，是一种推广版的独立增量过程。 \\ 实际上，独立增量过程是一种马尔可夫过程。 \end{gathered}$$¹²

CK方程:$p_{ij}^{(m+n)}={\sum }_{k\in E}{p}_{ik}^{(m)}{p}_{kj}^{(n)}$

$$\begin{gathered} 只需证明：p_{ij}^n=\sum _{k\in E}{p}_{ik}\ast p_{kj}^{n-1} \\ {p}_{ij}^n=P(X_n=j|X_0=i) \\ =\sum _{k\in E}P(X_n=j,X_1=k|X_0=i) \\ =\sum _{k\in E}P(X_1=k|X_0=i)P(X_n=j|X_1=k,X_0=i) \\ =\sum _{k\in E}P(X_1=k|X_0=i)P(X_n=j|X_1=k) \\ c \end{gathered}$$
初始条件和转移矩阵爵定齐次马链

n步转移概率的首达分解

$$\begin{gathered} p_{ij}^{(n)}=\sum _{k=0}^n{f}_{ij}^k{p}_{jj}^{n-k} \\ {p}_{ij}^{(n)}=\sum _{k=1}^{n}p(X_n=j,X_k=j,X_l\ne j,l=1,2,\dots k-1|X_0=i) \\ 后续证明与sk方程一模一样 \end{gathered}$$

马尔科夫链的一个状态的属性

状 态 i { p i i ( n ) > 0 ,     g c d { n } 为 状 态 i 的 周 期 状 态 的 类 别 状态i \begin{cases} p_{ii}^{(n)} >0, \ \ \ gcd \{n\}为状态i的周期 \\ 状态的类别 \end{cases} 状态i{pii(n)​>0,   gcd{n}为状态i的周期状态的类别​

常 返 和 为 f i i = ∑ n = 1 ∞ f i i n 1 ， 此 时 ， { f i i n , n ≥ 1 } 构 成 概 率 分 布 ， 首 达 时 间 （ 步 ） 的 分 布 μ i 首 达 平 均 所 用 时 间 常返和为f_{ii}=\sum_{n=1}^{\infty}f_{ii}^n1，\\ 此时，\{f_{ii}^n,n\geq 1 \}构成概率分布，首达时间（步）的分布 \\ \mu_{i} 首达平均所用时间 常返和为fii​=n=1∑∞​fiin​1，此时，{fiin​,n≥1}构成概率分布，首达时间（步）的分布μi​首达平均所用时间

$$\begin{gathered} \sum _{n=0}^{\infty }{p}_{ii}^{(n)}表示过程由i出发“返回到i”的平均次数 \\ 简单对称随机游动其为+\infty \end{gathered}$$³

$$\begin{gathered} 若状态j非常返，\sum _{n=0}^{\infty }{p}_{ij}^{(n)}<\infty \Rightarrow 状态j非常返\underset{n\to \infty }{\lim }{p}_{i,j}^{(n)}=0 \\ 证明：（状态j非常返时\sum _{n=0}^{\infty }{p}_{jj}^{(n)}<\infty ）\oplus （首达分解定理） \end{gathered}$$

整体的状态

$$吸收态\Rightarrow 闭集(吸收态在横向的推广)$$

$常返态i,若i\to j,j常返$

$$有限链至少有一个正常返状态。或者说有限链不可能全为非常返，没有零常返（正常返+非常返）$$

状态分解

$$D=D\cup C_1\cup C_2\cup \cdots \cup C_n$$
$状态空间E是有限时$

• $不可约闭集C_i是常返的互达等价类闭集$
• $E有限集，D非闭集，初始在D状态的，最终一定会进入某个C_i$

遍历链

遍历状态指的是非周期的正常返状态。推论5-8：⁴
$$\begin{gathered} 不可约马尔可夫链+非周期+所有状态正常返\Rightarrow 遍历链 \\ 此时，若存在平稳分布，则极限分布{\mu }^{(0)}\ast \underset{n\to \infty }{\lim }{P}^n存在且与平稳分布相同 \end{gathered}$$

$$\underset{n\to \infty }{\lim }{p}_{i,j}^{(n)}=\{\begin{array}{l}=0，若状态j非常返或0常返\\ p_j,遍历链\end{array}$$

$$\begin{gathered} 不论从哪个状态出发，充分转移后，到达j的概率接近一个只与j有关的正常数 \\ \underset{n\to \infty }{\lim }{P}^{(n)}=\left[\begin{array}{cc}{p}_1& p_2\\ p_1& p_2\end{array}\right] \end{gathered}$$

应用随机过程05

一步分析法（分析当前状态）

$$假设a_i=P(事件发生|X_0=i)，列方程组，解出a_i,全概率公式求解P(事件发生)$$
题目来源


$$\begin{gathered} 其中P(事件发生|X_0=i)表示在“当前”状态，即i状态下事件发生的概率。 \\ 由其他状态转移到当前状态，只需要乘上转移概率即可，所以得到了解中的方程组。 \end{gathered}$$

---

1. $$\begin{gathered} 例：Z_i独立同分布，Z_0=0，令X_n={\Sigma }_{i=i}^n{Z}_i,X_0=n,试证明X_n为马尔科夫链，并求其一步转移概率矩阵。 \\ P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\dots ，X_0=0)写出马尔可夫链的前半部分 \\ =P(Z_1+Z_2+\dots +Z_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\dots ，X_0=0)带入事件的定义 \\ =P(i+Z_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\dots ，X_0=0) \\ =P(Z_{n+1}=j-i) \\ =P(Z_1=j-i) \\ =P_{j-i}(记为P_{j-i}) \\ 同理：P(X_{n+1}=j|X_n=i)=P_{j-i}，所以为马尔科夫链。 \\ P=\left[\begin{array}{ccccccc}{p}_0& p_1& p_2& \dots & \dots & \dots & \\ 0& p_0& p_1& p_2& \dots & \dots & \\ 0& 0& p_0& p_1& p_2& \dots & \\ \dots & \dots & \dots & \dots & \dots & \dots & \end{array}\right] \end{gathered}$$ ↩︎

2. 例 ： Z i 独 立 同 分 布 ， Z 0 = 0 ， 令 X n = m a x { Z i , i ∈ [ 1 , n ] } , X 0 = n , 试 证 明 X n 为 马 尔 科 夫 链 ， 并 求 其 一 步 转 移 概 率 矩 阵 。      P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , … ， X 0 = 0 ) 写 出 马 尔 可 夫 链 的 前 半 部 分 = P ( m a x { Z 1 , Z 2 , … , Z n + 1 } = j ∣ X n = i , X n − 1 = i n − 1 , … ， X 0 = 0 ) 带 入 事 件 的 定 义 = P ( m a x { i , Z n + 1 } = j ∣ X n = i , X n − 1 = i n − 1 , … ， X 0 = 0 ) = P ( m a x { i , Z n + 1 } = j ) = P ( m a x { i , Z 1 } = j ) = { 0      i > j    Σ k = 0 i p k , i = j p j      i < j 同 理 ： P ( X n + 1 = j ∣ X n = i ) = P ( m a x { i , Z 1 } = j ) ， 所 以 为 马 尔 科 夫 链 。 P = [ p 0 p 1 p 2 … … … 0 p 0 + p 1 p 2 … … … 0 0 p 0 + p 1 + p 2 … … … … … … … … … ] 例：Z_i独立同分布，Z_0=0，令X_n=max\{Z_i,i\in[1,n]\},X_0=n,试证明X_n为马尔科夫链，并求其一步转移概率矩阵。\\ \ \ \ \ P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},…，X_0=0){\tiny 写出马尔可夫链的前半部分}\\ =P(max\{Z_1,Z_2,…,Z_{n+1}\}=j|X_n=i,X_{n-1}=i_{n-1},…，X_0=0){\tiny 带入事件的定义}\\ =P(max\{i,Z_{n+1}\}=j|X_n=i,X_{n-1}=i_{n-1},…，X_0=0){\tiny }\\ =P(max\{i,Z_{n+1}\}=j){\tiny }\\ =P(max\{i,Z_{1}\}=j){\tiny }\\ =\left\{\begin{array}{l}0\;\;i>j\\\; \Sigma_{k=0}^i p_k, i=j\\p_j\;\;i<j\end{array}\right.{\tiny }\\ 同理：P(X_{n+1}=j|X_n=i)=P(max\{i,Z_{1}\}=j){\tiny }，所以为马尔科夫链。\\ P=\begin{bmatrix}p_0&p_1&p_2&…&…&…\\0&p_0+p_1&p_2&…&…&…\\0&0&p_0+p_1+p_2&…&…&… \\…&…&…&…&…&…&\end{bmatrix} 例：Zi​独立同分布，Z0​=0，令Xn​=max{Zi​,i∈[1,n]},X0​=n,试证明Xn​为马尔科夫链，并求其一步转移概率矩阵。    P(Xn+1​=j∣Xn​=i,Xn−1​=in−1​,…，X0​=0)写出马尔可夫链的前半部分=P(max{Z1​,Z2​,…,Zn+1​}=j∣Xn​=i,Xn−1​=in−1​,…，X0​=0)带入事件的定义=P(max{i,Zn+1​}=j∣Xn​=i,Xn−1​=in−1​,…，X0​=0)=P(max{i,Zn+1​}=j)=P(max{i,Z1​}=j)=⎩⎨⎧​0i>jΣk=0i​pk​,i=jpj​i<j​同理：P(Xn+1​=j∣Xn​=i)=P(max{i,Z1​}=j)，所以为马尔科夫链。P=⎣⎢⎢⎡​p0​00…​p1​p0​+p1​0…​p2​p2​p0​+p1​+p2​…​…………​…………​…………​​⎦⎥⎥⎤​ ↩︎

3. $$\begin{gathered} 以概率p向右，以q=(1-p)向左，则过程为不可约马尔科夫链，各个状态周期为2，且是常返的。 \\ 证明：各状态互通，只需判断0处的属性， \\ \forall n\ge 0,有p_{00}^{(2n+1)}=0,p_{00}^{(2n)}=C_{2n}^n{p}^n{q}^n=\frac{(2n)!}{(n!)(n!)}{p}^n{q}^n, \\ 至此可带入斯特灵公式，计算\underset{n\to \infty }{\lim }{p}_{00}^{(n)}的极限，看是否为0，得到级数是否收敛。 \\ 常返的判断条件都为等号，即发散时常返 \\ 或利用幂级数计算\sum _{n=0}^{\infty }{p}_{00}^{(n)}{x}^{2n} \end{gathered}$$ ↩︎

4. E = { 1 , 2 } , 转 移 概 率 矩 阵 为 P = [ 3 4 1 4 5 8 3 8 ] , 求 平 稳 分 布 及 lim ⁡ n → ∞ P n 。 由 π = P π 得 ： { π 1 = 3 4 π 1 + 5 8 π 2 π 2 = 1 4 π 1 + 3 8 π 2 1 = π 1 + π 2 ⇒ { π 1 = 5 7 π 2 = 2 7 , π = ( π 1 , π 2 ) = ( 5 7 , 2 7 ) 由 lim ⁡ n → ∞ P n = π j ⇒ lim ⁡ n → ∞ P n = [ 5 7 2 7 5 7 2 7 ] E=\{1,2\},转移概率矩阵为P=\begin{bmatrix}\frac34&\frac14\\\frac58&\frac38\end{bmatrix},求平稳分布及\lim_{n→∞}P^n。\\ 由\pi=P\pi得：\left\{\begin{array}{l} \pi_1=\frac34\pi_1+\frac58 \pi_2\\\pi_2=\frac14\pi_1+\frac38\pi_2 \\ {\color{red}1=\pi_1+\pi_2}\end{array}\right. \Rightarrow\left\{\begin{array}{l}\pi_1=\frac57\\\pi_2=\frac{2}{7}\end{array}\right., \pi=(\pi_1,\pi_2)=(\frac57,\frac27) \\由\lim_{n→∞}P^n=\pi_j\Rightarrow \lim_{n→∞}P^n=\begin{bmatrix}\frac57&\frac27\\\frac57&\frac27\end{bmatrix} E={1,2},转移概率矩阵为P=[43​85​​41​83​​],求平稳分布及limn→∞​Pn。由π=Pπ得：⎩⎨⎧​π1​=43​π1​+85​π2​π2​=41​π1​+83​π2​1=π1​+π2​​⇒{π1​=75​π2​=72​​,π=(π1​,π2​)=(75​,72​)由limn→∞​Pn=πj​⇒limn→∞​Pn=[75​75​​72​72​​] ↩︎