应用随机过程期中复习总结

应用随机过程期中复习总结

by ldc
前言：该笔记为北京大学数学科学学院应用随机过程课程的复习笔记和内容总结。主要参考课程讲义编写而成。该复习笔记截止期中，主要介绍了马氏链的概念，并且非常详细地讲解了时齐马氏链的各个性质。由于是总结性质的笔记，因此该总结中的结论不加证明地给出，如果需要查询证明的话可以参考以下两本书，也可以自行谷歌：

1. 英文：《Markov Chain》, Norris
2. 中文：《应用随机过程》, 钱敏平、龚光鲁、陈大岳
   本总结分三部分，第一部分是基础知识，第二部分是理论知识的总结，第三部分是一些模型上的结果，如果希望知道一些模型上马氏链的应用结果而不想看证明的话可以直接移步第三部分

————————————分割线——————————————

基础知识：

马尔科夫链是最基本的随机过程之一，刻画了一类广泛、简单、但是性质丰富的随机过程。下面简称马氏链。
马氏链：一列随机变量 { X n } n = 0 ∞ \{X_n\}_{n=0}^{\infty} {Xn​}n=0∞​
性质：

本质：

马氏性：

$P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})$与向量$\vec{z}$无关。

停时：

在马氏链 { X n } \{X_n\} {Xn​}上，一个取值为 Z + ∪ { 0 } Z^+ \cup \{0\} Z+∪{0}的变量$\gamma$称为一个停时，当且仅当对于任意的$n,i_0,....,i_n\in S$，以下两个式子中恰有一个成立：
{ X 0 = i 0 , . . . . , X n = i n } ⊂ { γ ≤ n } \{X_0=i_0,....,X_n=i_n\}\subset \{\gamma \leq n\} {X0​=i0​,....,Xn​=in​}⊂{γ≤n}
{ X 0 = i 0 , . . . . , X n = i n } ⊂ { γ > n } \{X_0=i_0,....,X_n=i_n\}\subset \{\gamma > n\} {X0​=i0​,....,Xn​=in​}⊂{γ>n}
特别地，首达时 γ i = inf ⁡ { n ≥ 0 , X n = i } \gamma_i=\inf\{n\geq 0, X_n=i\} γi​=inf{n≥0,Xn​=i}和首入时 σ i = inf ⁡ { n ≥ 1 , X n = i } \sigma_i=\inf\{n\geq 1, X_n=i\} σi​=inf{n≥1,Xn​=i}都是停时

强马氏性：

如果$\gamma$为一个停时，则马氏链具有强马氏性：
在 { γ < ∞ , X γ = i } \{\gamma<\infty, X_{\gamma}=i\} {γ<∞,Xγ​=i}的条件下， { Y 0 , Y 1 , . . . , Y n } ≜ { X γ , X γ + 1 , . . . , X γ + n } \{Y_0,Y_1,...,Y_n\}\triangleq \{X_{\gamma},X_{\gamma+1},...,X_{\gamma+n}\} {Y0​,Y1​,...,Yn​}≜{Xγ​,Xγ+1​,...,Xγ+n​}是从i出发的马氏链，并且与$\vec{Z}=(X_0,...,X_{\gamma })$独立

可选性质：

时齐性：

如果$P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})$与n也无关，即$P(X_{n+1}=j|X_n=i,(X_0,...,X_{n-1})=\vec{z})=p_{i,j}$，则称这个马氏链P是时齐的

离散性：

如果变量序列 { X n } n = 0 ∞ \{X_n\}_{n=0}^{\infty} {Xn​}n=0∞​中$X_n$的取值空间S是可数的离散空间，则称为离散马氏链。特别的，如果|S|是有限的，则称为有限状态马氏链。有限状态马氏链具有一些很好的性质。
在本篇内容中我们只讨论离散时齐的马氏链。

基本性质：

特殊分布：

马氏链上存在两种比较特殊的分布：

不变测度/不变分布：

满足$\pi =\pi P$的测度$\pi$称为不变测度。其中，测度是指在状态空间S上的一个不全为0的非负向量。特别地，如果一个测度的各个分量和为1，则称其为状态空间S上的一个分布。满足$\pi =\pi P$的分布$\pi$称为不变分布。

配称测度/可逆分布：

满足$\forall i,j,{\pi }_i{p}_{ij}={\pi }_j{p}_{ji}$（细致平衡条件）的测度$\pi$称为配称测度。特别地，如果这个一个测度的各个分量和为1，则称其为状态空间S上的一个分布。满足$\pi =\pi P$的分布$\pi$称为可逆分布。拥有可逆分布的马氏链P称为可逆的。

性质：

1. 配称测度/可逆分布一定不变。
2. 有限状态马氏链上必然存在不变分布
3. 从不变分布出发的马氏链，分布一直和不变分布相同

求解：

不变分布：
有限状态马氏链：解方程$\pi =\pi P$
无限状态马氏链：取特殊的$A\subset S$，对进出A的概率论使用均衡方程：${\sum }_{i\in A,j\notin A}{\pi }_i{p}_{ij}={\sum }_{i\in A,j\notin A}{\pi }_j{p}_{ji}$
可逆分布：
随便取一个状态o，设${\pi }_o=x$，使用细致平衡条件求解出$\pi (x)$即可，然后对任意i,j验证细致平衡条件，如果均满足则得到一个配称测度，如果该测度可以归一化则得到一个可逆分布。

特殊状态

一个马氏链的状态空间S中包含的状态具有一些特殊的性质：

可达/互通：

$i\to j$：$i$可达$j$，如果存在$n$, $p_{ij}^{(n)}>0$；如果 $i\to j$且 $j\to i$，则称i和j互通
互通关系是一个等价关系，因此S可以被分划为若干个互通类。若将一个互通类看做一个顶点，则S中的互通类构成一个有向无环图。如果一个互通类中没有连向外部顶点的便，则称该互通类为闭集。因此，这个图的所有叶子节点就是所有的闭集。因此，有限状态马氏链必然有闭集，但是无限状态马氏链则不一定，因为叶子节点可能在无穷远处。

不可约：
一个马氏链称为不可约，如果其自身构成一个互通类。

常返

定义从一个马氏链访问一个状态i的总次数
V i = ∑ n = 0 ∞ 1 { X n = i } = ∣ { n ≥ 0 : X n = i } ∣ V_i=\sum_{n=0}^\infty 1_{\{X_n=i\}}=|\{n\geq 0: X_n=i\}| Vi​=∑n=0∞​1{Xn​=i}​=∣{n≥0:Xn​=i}∣，
并且定义从i出发的回访概率${\rho }_i=P_i({\sigma }_i<\infty )$，
则有以下二择一定律：
$$\{\begin{array}{rl}{\rho }_i& =1\iff P_i(V_i=\infty )=1\iff E_i{V}_i=\infty \text{常返}\\ {\rho }_i& =0\iff P_i(V_i<\infty )=1\iff E_i{V}_i<\infty \text{非常返}\end{array}$$
常返性在互通类下封闭；在不可约马氏链下，所有状态要么全都常返，要么全不常返，因此可以直接讨论一个不可约马氏链是否常返。
有限状态不可约马氏链必定常返。
如果$\pi$为不变分布，j非常返，则${\pi }_j=0$

常返性的判断方法：

1. 吸收概率：
   ${\rho }_{ij}=P_i({\gamma }_j<\infty )$
   对于给定状态o，设$P_i({\gamma }_o<\infty )=x_i$，则对于任意$i\ne o\in S$，可以列方程组：$x_i={\sum }_{j\in S}{p}_{ij}{x}_j$，且有边界条件$x_o=1$
   吸收概率必为此方程组的最小非负解，由于$x_i\equiv 1$必为一个解，因此该马氏链常返等价于仅有这一个解（如果加上$x_i\in [0,1]$的平凡条件的话）
   注：类似地，访问期望时间$E_{ij}\triangleq E_i({\gamma }_j)$对于给定状态o满足方程组$x_i={\sum }_{j\in S}{p}_{ij}{x}_j+1$且$x_o=0$，并且访问期望时间为该方程组的最小非负解。
2. 格林函数：
   $G_{ij}\triangleq E_i(V_j)={\sum }_{n=0}^{\infty }{p}_{ij}^{(n)}$
   状态i常返$\iff G_{ii}=\infty$
3. (*)在可配称马氏链中，可以通过定义状态i,j之间的电阻$r_{ij}=\frac{1}{{\pi }_i{p}_{ij}}$来定义状态集S上的一个电网图。进而，在某一点o处接入一个电势为1的电源，则通过其它顶点i处的电流守恒方程${\sum }_{i\sim j}\frac{V_j-V_i}{r_{ij}}=0$可以列出关于全图上电势满足的方程。可以证明，$V_i=P_i({\gamma }_j<\infty )$
   从而，顶点o常返等价于在o到无穷远点处的等效电阻$R_o=\infty$，根据最小功原理，等效电阻 R o = inf ⁡ { I ( f ) : f ∈ F o } R_o=\inf\{I(f):f\in F_o\} Ro​=inf{I(f):f∈Fo​}，其中f为在$S^2$上定义的单位流，$I(f)\triangleq \frac{1}{2}{\sum }_{i,j}{f}_{i,j}^2{r}_{i,j}$为电流的功率。
   $G_1\subset G_2\Rightarrow$若$G_1$常返，则$G_2$常返
   Thomson原理：
   如果存在单位流f从o出发，$I(f)<\infty$，则马氏链非常返
   Dirichlet原理：
   通过取S的子集判断马氏链常返

正常返

P不可约，$\pi$为P的不变分布，则${\pi }_i$>0，并且${\pi }_i=\frac{1}{E_i{\sigma }_i}$
为了区分是否存在不变分布，引入正常返/零常返的概念：
$$\{\begin{array}{r}\text{正常返：}{E}_i{\sigma }_i<\infty \\ \text{零常返：}{E}_i{\sigma }_i=\infty \end{array}$$
正常返也是互通类的性质
则：一个不可约马氏链的不变分布存在等价于其正常返
不可约有限状态马氏链必定存在不变分布

遍历定理：

马氏链P不可约，正常返：
$$P_{\mu }(\underset{n\to \infty }{\lim }\frac{{\sum }_{i=0}^{n-1}f(X_i)}{n}=\sum _{i\in S}{\pi }_{i}f(i))=1$$

周期性：

一个不可约马氏链是周期的，若其可以分为$d\ge 2$个状态，使得其在充分多次后在这d个状态之间循环移动；否则称其为非周期的
判定：
如果$\exists i,p_{ii}>0$，则P必然是周期的

强遍历定理：

马氏链P不可约，非周期，正常返：
$$\underset{n\to \infty }{\lim }\sum _{j\in S}|(\mu P^n{)}_j-{\pi }_j|=0$$
马氏链P不可约，周期d，正常返：
$$\underset{n\to \infty }{\lim }{p}_{ij}^{nd+s}=d{\pi }_j$$
马氏链P不可约，零常返：
$$\underset{n\to \infty }{\lim }{p}_{ij}^n=0$$
收敛速度：指数
如果P不可约，非周期，正常返，有限状态，则存在$C,\beta >0$
$$d_{TV}(\mu P^n,\pi )\le C{e}^{-\beta n}$$
$d_{TV}$为分布的全变差距离：$d_{TV}(\mu ,\nu )=\frac{1}{2}{\sum }_{i\in S}|{\mu }_i-{\nu }_i|$

————————————分割线——————————————

理论总结

在阐明了基本概念后，我们给出一个系统性的总结：

马氏链的本质：马氏性，停时，强马氏性
马氏链的分布：不变分布，可逆分布
马氏链的性质：有限状态，可约，常返（正常返，零常返，非常返），周期

不变分布：
有限状态马氏链至少有一个不变分布：
a个：构造矩阵P，使得方程$\pi (P-I)=0$恰有a个解，即$dim(P-I)=n-a$
可约无限状态马氏链可以有任意个不变分布：
0个：从0出发，p=1的随机游动（一直向正无穷迁移）
a个：取一个有限状态马氏链作为子链即可
不可约无限状态非/零常返马氏链没有不变分布
不可约无限状态正常返马氏链恰有一个不变分布：${\pi }_i=\frac{1}{E_i{\sigma }_i}$

————————————分割线——————————————

常用模型

由于结论均为手算，一些结论可能存在错误之处，如有疑问请不吝赐教。

1. 一维简单随机游动：
   $S_n={\xi }_1+...+{\xi }_n$, ${\xi }_i\text{ i.i.d}$,
   $P({\xi }_1=1)=P({\xi }_1=-1)=1/2$
   不变测度<=>可逆测度为$({\pi }_i=1,\forall i)$，不存在不变分布
   不可约，周期为2，零常返（游弋长度的分布为反正弦函数）
2. 一维紧邻随机游动：
   $S_n={\xi }_1+...+{\xi }_n$, ${\xi }_i\text{ i.i.d}$,
   $P({\xi }_1=1)=P({\xi }_1=-1)=1-p,p\ne 1/2$
   不变测度<=>可逆测度$({\pi }_i=(\frac{p}{1-p}{)}^i,\forall i)$，不存在不变分布
   不可约，周期为2，非常返（大数定律/中心极限定理）
3. 生灭链：
   S = Z + ∪ { 0 } ∀ i ≥ 1 , p i , i + 1 = 1 − p i , i − 1 = p i , p 0 , 1 = 1 S=Z^+\cup \{0\}\\ \forall i \geq 1,p_{i,i+1}=1-p_{i,i-1}=p_i, p_{0,1}=1 S=Z+∪{0}∀i≥1,pi,i+1​=1−pi,i−1​=pi​,p0,1​=1
   不变测度<=>可逆测度$({\pi }_0=1,{\pi }_i=\frac{{\prod }_{j=1}^{i-1}{p}_i}{{\prod }_{j=1}^i(1-p_i)},i\ge 1)$
   不变分布存在$\iff {\sum }_{i=1}^{\infty }{\pi }_i<\infty$
   不可约，周期为2，不变分布存在则正常返，不变分布不存在则零常返当且仅当$\iff {\sum }_{i=0}^{\infty }\frac{{\prod }_{j=1}^i{p}_i}{{\prod }_{j=1}^i(1-p_i)}=\infty$（求吸收概率即可）

等待更新