应用随机过程期中复习总结

应用随机过程期中复习总结

by ldc
前言：该笔记为北京大学数学科学学院应用随机过程课程的复习笔记和内容总结。主要参考课程讲义编写而成。该复习笔记截止期中，主要介绍了马氏链的概念，并且非常详细地讲解了时齐马氏链的各个性质。由于是总结性质的笔记，因此该总结中的结论不加证明地给出，如果需要查询证明的话可以参考以下两本书，也可以自行谷歌：

1. 英文：《Markov Chain》, Norris
2. 中文：《应用随机过程》, 钱敏平、龚光鲁、陈大岳
   本总结分三部分，第一部分是基础知识，第二部分是理论知识的总结，第三部分是一些模型上的结果，如果希望知道一些模型上马氏链的应用结果而不想看证明的话可以直接移步第三部分

————————————分割线——————————————

基础知识：

马尔科夫链是最基本的随机过程之一，刻画了一类广泛、简单、但是性质丰富的随机过程。下面简称马氏链。
马氏链：一列随机变量 { X n } n = 0 ∞ \{X_n\}_{n=0}^{\infty} { Xn​}n=0∞​
性质：

本质：

马氏性：

$P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})$与向量$\vec{z}$无关。

停时：

在马氏链 { X n } \{X_n\} { Xn​}上，一个取值为 Z + ∪ { 0 } Z^+ \cup \{0\} Z+∪{ 0}的变量$\gamma$称为一个停时，当且仅当对于任意的$n,i_0,....,i_n\in S$，以下两个式子中恰有一个成立：
{ X 0 = i 0 , . . . . , X n = i n } ⊂ { γ ≤ n } \{X_0=i_0,....,X_n=i_n\}\subset \{\gamma \leq n\} { X0​=i0​,....,Xn​=in​}⊂{ γ≤n}
{ X 0 = i 0 , . . . . , X n = i n } ⊂ { γ > n } \{X_0=i_0,....,X_n=i_n\}\subset \{\gamma > n\} { X0​=i0​,....,Xn​=in​}⊂{ γ>n}
特别地，首达时 γ i = inf ⁡ { n ≥ 0 , X n = i } \gamma_i=\inf\{n\geq 0, X_n=i\} γi​=inf{ n≥0,Xn​=i}和首入时 σ i = inf ⁡ { n ≥ 1 , X n = i } \sigma_i=\inf\{n\geq 1, X_n=i\} σi​=inf{ n≥1,Xn​=i}都是停时

强马氏性：

如果$\gamma$为一个停时，则马氏链具有强马氏性：
在 { γ < ∞ , X γ = i } \{\gamma<\infty, X_{\gamma}=i\} { γ<∞,Xγ​=i}的条件下， { Y 0 , Y 1 , . . . , Y n } ≜ { X γ , X γ + 1 , . . . , X γ + n } \{Y_0,Y_1,...,Y_n\}\triangleq \{X_{\gamma},X_{\gamma+1},...,X_{\gamma+n}\} { Y0​,Y1​,...,Yn​}≜{ Xγ​,Xγ+1​,...,Xγ+n​}是从i出发的马氏链，并且与$\vec{Z}=(X_0,...,X_{\gamma })$独立

可选性质：

时齐性：

如果$P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})$与n也无关，即 P ( X n + 1 = j ∣ X n = i , ( X 0 , . . . , X n − 1 ) = z ⃗ ) = p i , j P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})=p_{i,j} P(Xn+1​=j∣X