随机过程学习笔记（更新中）

随机过程学习笔记

引言

这么多年了，我记笔记一直是以onenote为主，从来没有考虑过写博客（还是懒）。这次借着随机过程考试的复习，还有学弟对写博客的安利，尝试学习一下markdown，或许这也是一种摆脱自闭的方式吧O(∩_∩)O。

目录

后续更新日志

• 2020-04-23
  以考试复习为主，较为仓促，因此避免各种括号的嵌套。

• 2020-05-03
  加入导师当年在清华上的《随机过程及其应用》的教材内容补充。

• 2020-05-08
  加入《Introduction to Probability Models》11th Edition 的教材内容补充。

---

背景知识备忘

知识点

1. 随机变量统计特征：

• 数学期望(一阶矩)：$EX={\int }_{-\infty }^{+\infty }xdF(x)$;
  方差(二阶中心矩)：$DX=E(X-EX{)}^2;$ 取值偏离均值的程度
  协方差：$C_{XY}=E[(X-EX)(Y-EY)]$;
  相关系数：${\rho }_{XY}=\frac{C_{XY}}{\sqrt{DX}\sqrt{DY}}$，描述线性相关程度，不相关$\iff {\rho }_{XY}=0$；

  $DX=E{X}^2-(EX{)}^2$

• 期望与方差的性质：
  (1) 复合函数期望： $\mathrm{Eg}\left(X_1,\cdots ,X_n\right)={\int }_{-\infty }^{+\infty }\cdots {\int }_{-\infty }^{+\infty }g\left(x_1,\cdots ,x_n\right)dF(x_1,\cdots ,x_n)$
  (2) 若 $X,Y$ 独立，则 $E(XY)=EXEY$;
  (3) 若 $X,Y$ 独立，则 $D(aX+bY)=a^{2}D(X)+b^{2}D(Y)$;

• 二阶矩有限的复值随机变量集合 { X : E ∣ X ∣ 2 < ∞ } \{X:E|X|^2<\infty\} {X:E∣X∣2<∞}是一个内积空间(inner product space)，其内积为$<X,Y>=E(X\overline{Y})$，因此满足Schwarz不等式：

  若 $E{X}^2<\infty ,E{Y}^2<\infty$, 则$(EXY{)}^2\le E{X}^{2}E{Y}^2$

• 马尔可夫不等式：如果$X$是只取非负值的随机变量,那么对于任意$a>0$， P { X ⩾ a } ⩽ E [ X ] a \mathrm{P}\{X \geqslant a\} \leqslant \frac{\mathrm{E}[X]}{a} P{X⩾a}⩽aE[X]​。
  切比雪夫不等式：如果$X$是具有均值$\mu$和方差${\sigma }^2$的随机变量, 那么对于任意$k>0$， P { ∣ X − μ ∣ ⩾ k } ⩽ σ 2 k 2 \mathrm{P}\{|X-\mu| \geqslant k\} \leqslant \frac{\sigma^{2}}{k^{2}} P{∣X−μ∣⩾k}⩽k2σ2​

  在概率分布的均值和方差已知时，这两个公式使我们能推得所求概率的上界。

• 强大数定律(strong law of large numbers)：假定$X_1,X_2,\cdots$是一列独立同分布的随机变量，令 $\mathrm{E}\left[X_i\right]=\mu$，那么当 $n\to \infty$ 时以概率 1有$\frac{X_1+X_2+\cdots +X_n}{n}\to \mu$。
  中心极限定理：假定$X_1,X_2,\cdots$是一列独立同分布的随机变量, 每个具有均值$\mu$和方差${\sigma }^2$，那么当$n\to \infty$时,$\frac{X_1+X_2+\cdots +X_n-n\mu }{\sigma \sqrt{n}}$的分布趋于标准正态分布。也就是说，当 $n\to \infty$ 时，$\mathrm{P}\left\{\frac{X_1+X_2+\cdots +X_n-n\mu }{\sigma \sqrt{n}}⩽a\right\}\to \frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^a{\mathrm{e}}^{-x^2/2}\mathrm{d}x$

  以上定理的强大之处在于，对$X$的任意分布都成立。

2. 特征函数：$g(t)=E\left[e^{itX}\right]={\int }_{-\infty }^{+\infty }{e}^{itx}dF(x),-\infty <t<\infty$，
   物理含义为概率分布函数$F(x)$的Fourier transform，好处是连续且可微。

   若 $X$ 是离散型随机变量，则$g(t)={\sum }_{k=1}^{\infty }{e}^{it{x}_k}{p}_k$
   若 $X$ 是连续型随机变量，则$g(t)={\int }_{-\infty }^{\infty }{e}^{itx}f(x)dx$

3. 一维离散型随机变量$X$的概率分布列：$p_k=P(X=x_k),k=1,2,\cdots ,$，概率分布函数：$F(x)={\sum }_{x_k\le x}{p}_k$.

• 常用分布：
  (1) 0-1分布（伯努利分布）：
  $P(X=1)=p,P(X=0)=q,0<p<1,p+q=1.$,
  均值：$p$，方差：$pq$，特征函数：$q+p{e}^{it}$

  (2) 二项分布：
  $P(X=k)=C_n^k{p}^k{q}^{n-k},0<p<1,k=0,1,\cdots ,n$,
  均值：$np$，方差：$npq$，特征函数：$(q+p{e}^{it}{)}^n$

  (3) 泊松分布：
  $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,\cdots$,
  均值：$\lambda$，方差：$\lambda$，特征函数：$e^{\lambda (e^{it}-1)}$

  (4) 几何分布：
  $P(X=k)=q^{k-1}p,0<p<1,p+q=1,k=1,2,\cdots$
  均值：$\frac{1}{p}$，方差：$\frac{q}{p^2}$，特征函数：$\frac{p{e}^{it}}{1-q{e}^{it}}$

• 离散型随机变量$X,Y$，若 P ( { Y = y } ) > 0 , P(\{Y=y\})>0, P({Y=y})>0,，则给定 $Y=y$ 时：
  (1) $P(X=x\mid Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}$
  (2) $F(x\mid y)=P(X\le x\mid Y=y),x\in \mathbb{R}$
  (3) $E[X\mid Y=y]=\int xdF(x\mid y)={\sum }_{x}xP(X=x\mid Y=y)$
  (4) 条件期望回推期望：$EX={\sum }_{y}E[X\mid Y=y]P(Y=y)$

4. 一维连续型随机变量$X$的概率分布函数：$F(x)={\int }_{-\infty }^{x}f(t)dt$， 其中$f$为概率密度函数。

• 常用分布：
  (1) 均匀分布（$a,b$）
  $f(x)=\{\begin{array}{lc}\frac{1}{b-a},& a<x<b\\ 0,& \text{ 其他 }\end{array}$
  均值：$\frac{a+b}{2}$，方差：$\frac{(b-a{)}^2}{12}$，特征函数：$\frac{{\mathrm{e}}^{\mathrm{i}bt}-{\mathrm{e}}^{\mathrm{i}at}}{\mathrm{i}(b-a)t}$

  (2) 指数分布（$\lambda$）
  $f(x)=\{\begin{array}{cl}\lambda {\mathrm{e}}^{-\lambda x},& x⩾0,\\ 0,& x<0,\end{array}\lambda >0$
  均值：$\frac{1}{\lambda }$，方差：$\frac{1}{{\lambda }^2}$，特征函数：$\frac{\lambda }{\lambda -it}$

  (3) Gamma分布（$n,\lambda$）
  $f(x)=\{\begin{array}{ll}\frac{\lambda {\mathrm{e}}^{-\lambda x}(\lambda x{)}^{n-1}}{(n-1)!},& x⩾0\\ 0,& x<0\end{array}$
  均值：$\frac{n}{\lambda }$，方差：$\frac{n}{{\lambda }^2}$，特征函数：$(\frac{\lambda }{\lambda -it}{)}^n$

  (4) 一维高斯分布
  $f(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
  均值：$\mu$，方差：${\sigma }^2$，特征函数：${\mathrm{e}}^{\mathrm{i}\mu t-\frac{1}{2}{\sigma }^2{t}^2}$

  (5) 二维高斯分布
  $f(x,y)={\left(2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}\right)}^{-1}\exp \left[-\frac{1}{2\left(1-{\rho }^2\right)}\left(\frac{{\left(x-{\mu }_1\right)}^2}{{\sigma }_1^2}-\frac{2\rho \left(x-{\mu }_1\right)\left(y-{\mu }_2\right)}{{\sigma }_1{\sigma }_2}+\frac{{\left(y-{\mu }_2\right)}^2}{{\sigma }_2^2}\right)\right]$

  (6) n维高斯分布：
  $f(\mathbf{x})=f\left(x_1,\cdots ,x_n\right)=\frac{1}{(2\pi {)}^{n/2}|\mathbf{C}{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{a}){\mathbf{C}}^{-1}(\mathbf{x}-\mathbf{a}{)}^{\top }\right\}$，其中 $\mathbf{a}=\left(a_1,\cdots ,a_n\right)$ 是常向量， $\mathbf{C}={\left(c_{ij}\right)}_{n\times n}$ 是正定矩阵，记作$n$维随机变量$\mathbf{X}\sim N(\mathbf{a},\mathbf{C})$.
  特征函数：$g(\mathbf{t})=g\left(t_1,\cdots ,t_n\right)=e^{i\mathbf{a}{t}^{\prime }-\frac{1}{2}t\mathbf{C}{t}^{\prime }}$

  若 $\mathbf{X}\sim N(\mathbf{a},\mathbf{C})$, 则 $E{X}_k=a_k,C_{X_k{X}_l}=c_{kl}$.

  若 $\mathbf{X}\sim N(\mathbf{a},\mathbf{C}),\mathbf{Y}=\mathbf{X}\mathbf{A}$, 若 ${\mathbf{A}}^{\prime }\mathbf{C}\mathbf{A}$ 正定，则 $\mathbf{Y}\sim N\left(\mathbf{a}\mathbf{A},{\mathbf{A}}^{\prime }\mathbf{C}\mathbf{A}\right)$，即正态随机变量的线性变幻仍为正态随机变量

• 连续型随机变量$X,Y$，定义联合概率密度函数$f(x,y)$，对一切使$f_y(y)>0$的$y$，则给定 $Y=y$ 时：
  (1) $f(x\mid y)=\frac{f(x,y)}{f_Y(y)}$
  (2) $F(x\mid y)=P(X\le x\mid Y=y)={\int }_{-\infty }^{x}f(u\mid y)du,x\in \mathbb{R}$
  (3) $E[X\mid Y=y]=\int xdF(x\mid y)=\int xf(x\mid y)dx$
  (4) 条件期望回推期望：$EX={\int }_{-\infty }^{\infty }E(X\mid Y=y)f(y)dy$

例题

1. 设 $X,Y$ 是相互独立的随机变量，分布函数分别 为 $F_X(x),F_Y(y)$, 记 $X+Y$ 的分布函数为 $F_X\ast F_Y$, 则

$$\begin{array}{rl}{F}_X\ast F_Y(a)& =P(X+Y\le a)\\ & ={\int }_{-\infty }^{\infty }P(X+Y\le a\mid Y=y)d{F}_Y(y)\\ & ={\int }_{-\infty }^{\infty }P(X+y\le a)d{F}_Y(y)\\ & ={\int }_{-\infty }^{\infty }{F}_X(a-y)d{F}_Y(y)\end{array}$$

2. (二项分布的正态近似) 令$X$为抛掷一枚均匀的硬币40次中出现正面的次数，求 $X=20$ 的概率， 用正态近似并将结果与精确解比较。

解：由中心极限定理（知识点1），因为二项随机变量是离散的, 而正态随机变量是连续的, 所以所求概率的一个较好的近似为：
P { X = 20 } = P { 19.5 < X < 20.5 } = P { 19.5 − 20 10 < X − 20 10 < 20.5 − 20 10 } = P { − 0.16 < X − 20 10 < 0.16 } ≈ Φ ( 0.16 ) − Φ ( − 0.16 ) \begin{aligned} \mathrm{P}\{X=20\} &=\mathrm{P}\{19.5<X<20.5\} \\ &=\mathrm{P}\left\{\frac{19.5-20}{\sqrt{10}}<\frac{X-20}{\sqrt{10}}<\frac{20.5-20}{\sqrt{10}}\right\} \\ &=\mathrm{P}\left\{-0.16<\frac{X-20}{\sqrt{10}}<0.16\right\} \\ & \approx \Phi(0.16)-\Phi(-0.16) \end{aligned} P{X=20}​=P{19.5<X<20.5}=P{10 ​19.5−20​<10 ​X−20​<10 ​20.5−20​}=P{−0.16<10 ​X−20​<0.16}≈Φ(0.16)−Φ(−0.16)​
由标准正态分布对称性， Φ ( − 0.16 ) = P { N ( 0 , 1 ) > 0.16 } = 1 − Φ ( 0.16 ) \Phi(-0.16)=\mathrm{P}\{N(0,1)>0.16\}=1-\Phi(0.16) Φ(−0.16)=P{N(0,1)>0.16}=1−Φ(0.16)，因此 P { X = 20 } ≈ 2 Φ ( 0.16 ) − 1 \mathrm{P}\{X=20\} \approx 2 \Phi(0.16)-1 P{X=20}≈2Φ(0.16)−1，去网上查表，得： P { X = 20 } ≈ 0.1272 ≈ C 40 20 ( 1 2 ) 40 \mathrm{P}\{X=20\} \approx 0.1272 \approx C_{40}^{20} \left(\frac{1}{2}\right)^{40} P{X=20}≈0.1272≈C4020​(21​)40

3. (取条件的妙用) 某矿工身陷在有三个门的矿井之中，经第一个门的通道行进两小时后他将到达安全地；经第二个门的通道前进三小时后, 他将回到原地；经第三个门的通道前进五小时后，他还是回到原地。假定这个矿工每次都等可能地选取任意一个门，问直到他到达安全地所需时间的期望是多少?

解：令$X$记矿工到达安全地所需的时间，以$Y$记他最初选取的门，则：
E [ X ] = E [ X ∣ Y = 1 ] P { Y = 1 } + E [ X ∣ Y = 2 ] P { Y = 2 } + E [ X ∣ Y = 3 ] P { Y = 3 } = 1 3 ( E [ X ∣ Y = 1 ] + E [ X ∣ Y = 2 ] + E [ X ∣ Y = 3 ] ) \begin{aligned} \mathrm{E}[X] &=\mathrm{E}[X \mid Y=1] \mathrm{P}\{Y=1\}+\mathrm{E}[X \mid Y=2] \mathrm{P}\{Y=2\}+\mathrm{E}[X \mid Y=3] \mathrm{P}\{Y=3\} \\ &=\frac{1}{3}(\mathrm{E}[X \mid Y=1]+\mathrm{E}[X \mid Y=2]+\mathrm{E}[X \mid Y=3]) \end{aligned} E[X]​=E[X∣Y=1]P{Y=1}+E[X∣Y=2]P{Y=2}+E[X∣Y=3]P{Y=3}=31​(E[X∣Y=1]+E[X∣Y=2]+E[X∣Y=3])​
然而：$E[X\mid Y=1]=2,E[X\mid Y=2]=3+\mathrm{E}[X],\mathrm{E}[X\mid Y=3]=5+\mathrm{E}[X]$，因此$\mathrm{E}[X]=\frac{1}{3}(2+3+\mathrm{E}[X]+5+\mathrm{E}[X])$，也就是 $\mathrm{E}[X]=10$。

4. 快速排序算法复杂度分析。

   假设我们有$n$个不同的值 $x_1,\cdots ,x_n$ 的一个集合, 针对该集合进行快排的递推定义如下：当$n=2$时，该算法比较此二值，将它们置于合适的次序；当$n>2$时，它开始在$n$个值中随机地选取一个，譬如$x_i$，然后将其他的$n-1$个值与$x_i$比较，注意哪些小于$x_i$，哪些大于$x_i$；以$S_i$记小于$x_i$的元素的集合，以$\overline{S_i}$记大于$x_i$的元素的集合，接下来该算法对集合$S_i$和$\overline{S_i}$分别作上述排序，以此递推。所以最后的次序由$S_i$、$x_i$、$\overline{S_i}$ 的元素的次序排列组成。

解：该算法的复杂度可以用比较次数的期望来刻画，假定我们以$M_n$记 $n$个不同值的一个集合快排的比较次数期望。为了得到 $M_n$ 的一个递推式, 我们取条件于初始的取值, 得到
$$M_n=\sum _{j=1}^n\mathrm{E}[\text{比较次数}\mid \text{取到的是第}j\text{小的值}]\frac{1}{n}$$
现在，若初始的取值是第$j$小的值, 则较小的集合的容量是$j-1$，较大的集合的容量是$n-j$，因此，由于对于选定的初始取值需要作$n-1$次比较，我们得到
$$M_n=\sum _{j=1}^n\left(n-1+M_{j-1}+M_{n-j}\right)\frac{1}{n}=n-1+\frac{2}{n}\sum _{k=1}^{n-1}{M}_k\left(\text{因为}{M}_0=0\right)$$
$$n{M}_n=n(n-1)+2\sum _{k=1}^{n-1}{M}_k$$
为了求解上式，用 $n+1$ 代替 $n$ ，我们得到
$$(n+1)M_{n+1}=(n+1)n+2\sum _{k=1}^n{M}_k$$
因此, 经过相减得到
$$(n+1)M_{n+1}-n{M}_n=2n+2M_n$$
也就是
$$(n+1)M_{n+1}=(n+2)M_n+2n$$
所以
$$\frac{M_{n+1}}{n+2}=\frac{2n}{(n+1)(n+2)}+\frac{M_n}{n+1}$$
将此式迭代给出
$$\begin{array}{rl}\frac{M_{n+1}}{n+2}& =\frac{2n}{(n+1)(n+2)}+\frac{2(n-1)}{n(n+1)}+\frac{M_{n-1}}{n}\\ & =\cdots \\ & =2\sum _{k=0}^{n-1}\frac{n-k}{(n+1-k)(n+2-k)}\text{因为}{M}_1=0\\ M_{n+1}& =2(n+2)\sum _{k=0}^{n-1}\frac{n-k}{(n+1-k)(n+2-k)}=2(n+2)\sum _{i=1}^n\frac{i}{(i+1)(i+2)},n⩾1\end{array}$$
利用恒等式 $i/[(i+1)(i+2)]=2/(i+2)-1/(i+1)$, 我们可以对较大的 $n$ 得到如下的近似:
$$\begin{array}{rl}{M}_{n+1}& =2(n+2)\left[\sum _{i=1}^n\frac{2}{i+2}-\sum _{i=1}^n\frac{1}{i+1}\right]\\ & \sim 2(n+2)\left[{\int }_3^{n+2}\frac{2}{x}\mathrm{d}x-{\int }_2^{n+1}\frac{1}{x}\mathrm{d}x\right]\\ & =2(n+2)[2\ln (n+2)-\ln (n+1)+\ln 2-2\ln 3]\\ & =2(n+2)\left[\ln (n+2)+\ln \frac{n+2}{n+1}+\ln 2-2\ln 3\right]\\ & \sim 2(n+2)\ln (n+2)\end{array}$$
这就是快排复杂度$o(n\log n)$的严格数学证明。

---

随机过程基本知识

知识点

1. 根据Kolmogorov存在定理，随机过程的概率特征可以通过随机过程的有限维特征函数族来完整描述，但实际应用中还是以统计特征为主。

2. 设 X T = { X ( t ) : t ∈ T } X_{T}=\{X(t): t \in T\} XT​={X(t):t∈T} 是随机过程，则：

   $X_T$ 的均值函数：$m_X(t)=EX(t);$

   若对任意 $t\in T,E(X(t){)}^2$ 存在，则称 $X_T$ 为二阶矩过程。

   $X_T$ 的方差函数：$D_X(t)=B_X(t,t)=D_{X(t)}=E(X(t)-{m_X(t))}^2$

   $X_T$ 的(自)协方差函数：$B_X(s,t)=B_{X(s),X(t)}=E[(X(s)-m_X(s))\left(X(t)-m_X(t)\right)]$

   $X_T$ 的(自)相关函数：$R_X(s,t)=E[X(s)X(t)].$ 与概率论不同

   注：$B_X(s,t)=R_X(s,t)-m_X(s)m_X(t)$

3. 设 { X ( t ) , t ∈ T } , { Y ( t ) , t ∈ T } \{X(t), t \in T\},\{Y(t), t \in T\} {X(t),t∈T},{Y(t),t∈T} 是两个二阶矩过程，则：

   互协方差函数：$B_{XY}(s,t)=B_{X(s)Y(t)}=E\left[\left(X(s)-m_X(s)\right)\left(Y(t)-m_Y(t)\right)\right],s,t$

   互相关函数：$R_{XY}(s,t)=R_{X(s)Y(t)}=E[X(s)Y(t)]$
   如果对任意的 $s,t\in T$, 有 $B_{XY}(s,t)=0$, 则称 { X ( t ) , t ∈ \{X(t), t \in {X(t),t∈ $T\}$ 与 { Y ( t ) , t ∈ T } \{Y(t), t \in T\} {Y(t),t∈T} 互不相关。

   注：$B_{XY}(s,t)=R_{XY}(s,t)-m_X(s)m_Y(t)$

4. 设 { Z t = X t + i Y t , t ∈ T } \{Z_t=X_t+i Y_t,t\in T\} {Zt​=Xt​+iYt​,t∈T}是复随机过程，则：

   均值函数：$m_Z(t)=E{Z}_t=E{X}_t+iE{Y}_t;$

   方差函数：$D_Z(t)=E{\left|Z_t-m_Z(t)\right|}^2;$

   协方差函数：$B_Z(s,t)=E\left[\left(Z_s-m_Z(s)\right)\overline{\left(Z_t-m_Z(t)\right)}\right];$

   对称性：$B(s,t)=\overline{B(t,s)}$

   非负定性：对任意 $t_i\in T$ 及复数 $a_i,i=1,\cdots ,n,n\ge$ 1, 有${\sum }_{i,j=1}^{n}B\left(t_i,t_j\right)a_i{\bar{a}}_j\ge 0$

   相关函数：$R_Z(s,t)=E\left[Z_s{\bar{Z}}_t\right].$

   注：$B_Z(s,t)=R_Z(s,t)-m_Z(s)\overline{m_Z(t)}$

5. 假设 { X t } , { Y t } \left\{X_{t}\right\},\left\{Y_{t}\right\} {Xt​},{Yt​} 为两个复随机过程，则：

   互相关函数：$R_{XY}(s,t)=E\left[X_s{\bar{Y}}_t\right]$;
   互协方差函数：$B_{XY}(s,t)=E\left[\left(X_s-m_X(s)\right)\overline{\left(Y_t-m_Y(t)\right)}\right].$

6. 正交增量过程：
   设 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是零均值的二阶矩过程，若对任意的 $t_1<t_2\le t_3<t_4\in T$, 有$E\left[\left(X\left(t_2\right)-X\left(t_1\right)\right)\overline{\left(X\left(t_4\right)-X\left(t_3\right)\right)}\right]=0$。称 { X ( t ) } \{X(t)\} {X(t)} 为正交增量过程。

   若 $T=[a,+\infty ),X(a)=0$，则正交增量过程的协方差函数$B_X(s,t)=R_X(s,t)={\sigma }_X^2(\min (s,t))$

7. 独立增量过程：
   设 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是随机过程，若对任意的正整数 $n$ 和 $t_1<t_2<$$\cdots <t_n\in T$, 随机变量 $X\left(t_2\right)-X\left(t_1\right)$，$X\left(t_3\right)-X\left(t_2\right),\cdots$， $X\left(t_n\right)-X\left(t_{n-1}\right)$是相互独立的，则称 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是独立增量过程，又称可加过程。

   特点:
   (1) 独立增量过程在任一个时间间隔过程上过程状态的改变，不影响任一个与它不相重叠的时间间隔上状态的改变。
   (2) 正交增量过程不是独立增量过程，而独立增量过 程只有在二阶矩存在，且均值函数为零的条件是正交增量过程

   设 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是独立增量过程，若对任 意 $s<t$, 随机变量 $X(t)-X(s)$ 的分布仅依赖于 $t-s$, 则称 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是平稳独立增量过程。

8. 马尔可夫过程

9. 正态过程（高斯过程）

   设 { W ( t ) , t ∈ R } \{W(t), t \in \mathbb{R}\} {W(t),t∈R} 为随机过程，如果
   (1) $W(0)=0$
   (2) { W ( t ) , t ∈ R } \{W(t), t \in \mathbb{R}\} {W(t),t∈R} 是独立、平稳增量过程;
   (3) $\forall s,t$, 增量 $W(t)-W(s)\sim N\left(0,{\sigma }^2|t-s|\right),{\sigma }^2>0.$，则称 { W ( t ) , t ∈ R } \{W(t), t \in \mathbb{R}\} {W(t),t∈R} 为维纳过程, 也称布朗运动，这类过程常用来描述随机噪声。

10. (广义)平稳过程：
    设 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是随机过程，如果：
    (1) { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 是二阶矩过程;
    (2) $\forall t\in T,m_X(t)=EX(t)=$ 常数;
    (3) $\forall x,t\in T,R_X(s,t)=R_X(s-t)$
    则称 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T} 为广义平稳过程，简称平稳过程

    狭义平稳过程：任意的有限维分布不随时间推移而改变

例题

1. 设随机过程$X(t)=Vt+b,t\in (0,\infty ),b$为常数, $V$为服从正态分布$N(0,1)$的随机变量.求 $X(t)$的一维概率密度、均值和相关函数.
   解：因 $X(t)=Vt+b,V\sim N(0,1)$,故 $X(t)$ 服从正态分布, 且$EX(t)=E(Vt+b)=b,DX(t)=D(Vt+b)=t^2$，故$X(t)$的一维概率密度为$f_t(x)=\frac{1}{\sqrt{2\pi }|t|}{\mathrm{e}}^{-\frac{(x-b{)}^2}{2t^2}},x\in \mathbb{R}$。
   均值函数为$m(t)=EX(t)=b$，相关函数为 $R\left(t_1,t_2\right)=EX\left(t_1\right)X\left(t_2\right)=E\left(V{t}_1+b\right)\left(V{t}_2+b\right)=E\left(V^2{t}_1{t}_2+bV{t}_1+bV{t}_2+b^2\right)=t_1{t}_2+b^2$

2. 设盒子中有2个红球，3个白球，每次从盒子中 取出一球后放回，定义随机过程$X(n)=\{\begin{array}{lc}2n,& \text{ 第n次取出的是红球 }\\ n,& \text{ 第n次取出的是白球 }\end{array}n=1,2,\cdots$。求:
   (1) $X(n)$ 的一维分布函数族 { F ( n ; x ) : n ≥ 1 } ; \{F(n ; x): n \geq 1\} ; {F(n;x):n≥1};

   解：$F(n,x)=P(X(n)\le x)=\{\begin{array}{ll}0,& x<n\\ 3/5,& n\le x<2n,\\ 1,& x\ge 2n\end{array}$

   (2) $X(n)$ 的二维联合分布 $F\left(1,2;x_1,x_2\right).$

   解：由于不同时刻取球是相互独立，$\begin{array}{rl}F\left(1,2;x_1,x_2\right)& =P\left(X(1)\le x_1,X(2)\le x_2\right)\\ & =P\left(X(1)\le x_1\right)P\left(X(2)\le x_2\right)\\ & =\{\begin{array}{ll}0,& x_1<1\text{ 或 }{x}_2<2\\ 9/25,& 1\le x_1<2,2\le x_2<4\\ 3/5,& 1\le x_1<2,x_2\ge 4\text{ 或 }{x}_1\ge 2,2\le x_2<4\\ 1,& x_1\ge 2,x_2\ge 4\end{array}\end{array}$

3. 若从$t=0$开始每隔$\frac{1}{2}$秒抛郑一枚均匀的硬币作试验，定义随机过程$X(t)=\{\begin{array}{ll}\cos (\pi t),& t\text{ 时刻抛得正面， }\\ 2t,& t\text{ 时刻抛得反面， }\end{array}$。试求：
   (1) $X(t)$ 的一维分布函数 $F\left(\frac{1}{2};x\right),F(1;x)$。
   解：当 $t=\frac{1}{2}$ 时, $X(\frac{1}{2})$ 的分布列为$P\left\{X\left(\frac{1}{2}\right)=0\right\}=P\left\{X\left(\frac{1}{2}\right)=1\right\}=\frac{1}{2}$。其分布函数为$F\left(\frac{1}{2};x\right)=\{\begin{array}{ll}0,& x<0\\ \frac{1}{2},& 0⩽x<1\\ 1,& x⩾1\end{array}$。
   同理,当 $t=1$ 时 $X(1)$ 的分布列为 P { X ( 1 ) = − 1 } = P { X ( 1 ) = 2 } = 1 2 P\{X(1)=-1\}=P\{X(1)=2\}=\frac{1}{2} P{X(1)=−1}=P{X(1)=2}=21​。其分布函数为
   $$F(1;x)=\{\begin{array}{ll}0,& x<-1,\\ \frac{1}{2},& -1⩽x<2,\\ 1,& x⩾2\end{array}$$

   (2) $X(t)$的二维分布函数$F\left(\frac{1}{2},1;x_1,x_2\right)$。
   解：由于在不同时刻投币是相互独立的,故在$t=\frac{1}{2},t=1$时的联合分布列为
   $$\begin{array}{rl}P\left\{X\left(\frac{1}{2}\right)=0,X(1)=-1\right\}& =P\left\{X\left(\frac{1}{2}\right)=0,X(1)=2\right\}\\ & =P\left\{X\left(\frac{1}{2}\right)=1,X(1)=-1\right\}\\ & =P\left\{X\left(\frac{1}{2}\right)=1,X(1)=2\right\}=\frac{1}{4}\end{array}$$
   故二维联合分布函数为
   $F\left(\frac{1}{2},1;x_1,x_2\right)=\{\begin{array}{ll}0,& x_1<0\text{ 或 }{x}_2<-1,\\ \frac{1}{4},& 0⩽x_1<1\text{ 且 }-1⩽x_2<2,\\ \frac{1}{2},& 0⩽x_1<1\text{ 且 }{x}_2⩾2\text{ 或 }{x}_1⩾1\text{ 且 }-1⩽x_2<2,\\ 1,& x_1⩾1\text{ 且 }{x}_2⩾2\end{array}$

   (3) $X(t)$的均值$m_X(t),m_X(1)$，方差${\sigma }_X^2(t),{\sigma }_X^2(1)$.
   解：$m_X(t)=\cos (\pi t)\cdot \frac{1}{2}+2t\cdot \frac{1}{2}=\frac{1}{2}[\cos (\pi t)+2t]$, $m_X(1)=\frac{1}{2}$
   ${\sigma }_X^2(t)=E{X}^2(t)-{\left[m_X(t)\right]}^2={\cos }^2(\pi t)\cdot \frac{1}{2}+(2t{)}^2\cdot \frac{1}{2}-{\left[\frac{1}{2}(\cos (\pi t)+2t)\right]}^2={\left[\frac{1}{2}\cos (\pi t)-1\right]}^2$，${\sigma }_X^2(1)=\frac{9}{4}$

4. 设有两个随机过程 $X(t)=g_1(t+ϵ)$ 和 $Y(t)=g_2(t+ϵ)$, 其中 $g_1(t)$ 和 $g_2(t)$ 都是周期为 $L$ 的周期方波，$ϵ$ 是在 $(0,L)$ 上服从均匀分布的随机变量。求互相关函数 $R_{XY}(t,t+\tau )$ 的表达式。
   解：
   $\begin{array}{rl}{R}_{XY}(t,t+\tau )& =E[X(t)Y(t+\tau )]=E\left[g_1(t+ϵ)g_2(t+\tau +ϵ)\right]\\ & ={\int }_{-\infty }^{\infty }{g}_1(t+x)g_2(t+\tau +x)f_{ϵ}(x)dx\\ & =\frac{1}{L}{\int }_0^L{g}_1(t+x)g_2(t+\tau +x)dx\end{array}$
   令 $v=t+x$, 由 $g_1(t)$ 和 $g_2(t)$ 都是周期函数，可得
   $$\begin{array}{l}{R}_{XY}(t,t+\tau )=\frac{1}{L}{\int }_t^{t+L}{g}_1(v)g_2(v+\tau )dv\\ =\frac{1}{L}[{\int }_t^L{g}_1(v)g_2(v+\tau )dv+{\int }_L^{t+L}{g}_1(v-L)g_2(v-L+\tau )dv\\ =\frac{1}{L}\left[{\int }_t^L{g}_1(v)g_2(v+\tau )dv+{\int }_0^t{g}_1(u)g_2(u+\tau )du\right]\\ =\frac{1}{L}{\int }_0^L{g}_1(v)g_2(v+\tau )dv\end{array}$$

5. (重要)设 $X(t)$ 为信号过程， $Y(t)$ 为噪声过程，令 $W(t)=X(t)+Y(t)$,
   $W(t)$ 的均值函数为：$m_W(t)=m_X(t)+m_Y(t)$，

   其相关函数为：
   $$\begin{array}{rl}{R}_W(s,t)& =E[(X(s)+Y(s))(X(t)+Y(t))]\\ & =E[X(s)X(t)]+E[X(s)Y(t)]+E[Y(s)X(t)]+E[Y(s)Y(t)]\\ & =R_X(s,t)+R_{XY}(s,t)+R_{YX}(s,t)+R_Y(s,t)\end{array}$$
   当两个随机过程的均值函数为零且互不相关时，$R_W(s,t)=R_X(s,t)+R_Y(s,t)$

6. 设随机过程 $Z_t={\sum }_{k=1}^n{X}_k{e}^{i{\omega }_{k}t},t\ge 0$, 其中 $X_1,X_2,\cdots ,X_n$ 是相互独立的随机变量，且 $X_k\sim N\left(0,{\sigma }_k^2\right),k=1,2,\cdots ,n,{\omega }_1,\cdots ,{\omega }_n$ 是常数，求 { Z t , t ≥ 0 } \left\{Z_{t}, t \geq 0\right\} {Zt​,t≥0} 的均值函数 $m(t)$ 和相关函数 $R(s,t).$
   解：$m(t)=E{Z}_t=E\left[{\sum }_{k=1}^n{X}_k{e}^{i{\omega }_{k}t}\right]=0$;

   $\begin{array}{rl}R(s,t)=E\left[Z_s{\bar{Z}}_t\right]& =E\left[\sum _{k=1}^n{X}_k{e}^{i{\omega }_{k}s}\overline{\sum _{l=1}^n{X}_l{e}^{i{\omega }_{l}t}}\right]\\ & =\sum _{k,l=1}^{n}E\left[X_k{X}_l\right]e^{i\left({\omega }_{k}s-{\omega }_{l}t\right)}\\ & =\sum _{k=1}^{n}E\left[X_k^2\right]e^{i{\omega }_k(s-t)}=\sum _{k=1}^n{\sigma }_k^2{e}^{i{\omega }_k(s-t)}.\end{array}$

7. 设正态随机过程$X(t)=Y+Zt,t>0$,其中 $Y,Z$ 是相互独立的 $N(0,1)$ 随机变量，求 { X ( t ) , t > 0 } \{X(t), t>0\} {X(t),t>0} 的一、二维概率密度族。
   解：
   $m_X(t)=E[Y+Zt]=0$
   $D_X(t)=D[Y+Zt]=DY+t^{2}DZ=1+t^2$
   $B_X(s,t)=E[X(s)X(t)]-m_X(s)m_X(t)=E[(Y+Zs)(Y+Zt)]=1+st$
   ${\rho }_X(s,t)=\frac{B_X(s,t)}{\sqrt{D_X(s)D_X(t)}}=\frac{1+st}{\sqrt{(1+s^2)(1+t^2)}}$
   因此, $X(t)\sim N\left(0,1+t^2\right)$，$(X(t),X(s))\sim N\left((0,0),\left(1+t^2,1+s^2,\frac{1+st}{\sqrt{\left(1+s^2\right)\left(1+t^2\right)}}\right)\right)$

8. 设随机过程$X(t)=Y\cos (\theta t)+Z\sin (\theta t),t>0$. 其中 $Y,Z$ 相互独立，且$EY=EZ=0$,$DY=DZ={\sigma }^2$，则$m_X(t)=0$, $R_X(s,t)={\sigma }^2\cos [(t-s)\theta ],$故 { X ( t ) , t > 0 } \{X(t), t>0\} {X(t),t>0} 为广义平稳过程。由于$X(t)$的一维分布函数与$t$相关，因此$X(t)$不是严平稳过程。

---

泊松过程

知识点

1. 泊松过程定义
   计数过程 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0} 满足下列条件:
   (1) $X(0)=0$
   (2) $X(t)$ 是独立(平稳)增量过程;
   (3) 在任一长度为 $t$ 的时间区间中，事件A 发生的次数$n$服从参数为 $\lambda t>0$ 的泊松分布，即对任意 $s,t\ge 0$, 有$P[X(t+s)-X(s)=n]=e^{-\lambda t}\frac{(\lambda t{)}^n}{n!},n=0,1,\cdots$

   定义(3) 等价于
   ${\lim }_{h\to 0}\frac{P(X(t+h)-X(t)=1)}{h}=\lambda$ 和 ${\lim }_{h\to 0}\frac{P(X(t+h)-X(t)\ge 2)}{h}=0$ 即：在充分小的时间间隔内，最多有一个事件发生，而不能有两个或两个以上事件同时发生。

2. 对任意的$s<t$，有
   均值函数：$m_X(t)=E[X(t)]=\lambda t$
   方差函数：${\sigma }_X^2(t)=D[X(t)]=\lambda t$
   相关函数：$R_X(s,t)=E[X(s)X(t)]=\lambda s(\lambda t+1)$
   协方差函数：$B_X(s,t)=R_X(s,t)-m_X(s)m_X(t)=\lambda \min (s,t)=\lambda s$
   特征函数：$g_X(u)=\exp \left\{\lambda t\left(e^{iu}-1\right)\right\}$

   g X ( u ) = E [ e i u X ( t ) ] = ∑ n = 0 ∞ e i u n P { X ( t ) = n } g_{X}(u)=E\left[e^{i u X(t)}\right]=\sum_{n=0}^{\infty} e^{i u n} P\{X(t)=n\} gX​(u)=E[eiuX(t)]=∑n=0∞​eiunP{X(t)=n}
   $={\sum }_{n=0}^{\infty }{e}^{iun}{e}^{-\lambda t}\frac{(\lambda t{)}^n}{n!}=e^{-\lambda t}{\sum }_{n=0}^{\infty }\frac{{\left(\lambda t{e}^{iu}\right)}^n}{n!}$ 级数收敛
   $=e^{-\lambda t}\exp \left\{\lambda t{e}^{iu}\right\}=\exp \left\{\lambda t\left(e^{iu}-1\right)\right\}$

3. 设 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0} 是参数为 $\lambda$ 的泊松过程： { T n , n ≥ 1 } \left\{T_{n}, n \geq 1\right\} {Tn​,n≥1}是相应第$n$ 次事件$A$ 发生的时间间隔序列，则随机变量 $T_n$ 是独立同分布的均值为$1/\lambda$的指数分布。
   

   时间间隔 $T_n$ 的分布为： F T n ( t ) = P { T n ≤ t } = { 1 − e − λ t , t ≥ 0 0 , t < 0 F_{T_{n}}(t)=P\left\{T_{n} \leq t\right\}=\left\{\begin{array}{ll} 1-e^{-\lambda t}, &t \geq 0 \\ 0, &t<0 \end{array}\right. FTn​​(t)=P{Tn​≤t}={1−e−λt,0,​t≥0t<0​
   概率密度为$f_{T_n}(t)=\{\begin{array}{l}\lambda e^{-\lambda t},t\ge 0\\ 0,t<0\end{array}$

   证明：对于任意$n⩾1$和$t,s_1,s_2,\cdots ,s_{n-1}⩾0$，有 P { T n > t ∣ T 1 = s 1 , ⋯   , T n − 1 = s n − 1 } = P { X ( t + s 1 + ⋯ + s n − 1 ) − X ( s 1 + s 2 + ⋯ + s n − 1 ) = 0 } = P { X ( t ) − X ( 0 ) = 0 } = e − λ t \begin{aligned} & P\left\{T_{n}>t \mid T_{1}=s_{1}, \cdots, T_{n-1}=s_{n-1}\right\} \\ =& P\left\{X\left(t+s_{1}+\cdots+s_{n-1}\right)-X\left(s_{1}+s_{2}+\cdots+s_{n-1}\right)=0\right\} \\ =& P\{X(t)-X(0)=0\}=e^{-\lambda t} \end{aligned} ==​P{Tn​>t∣T1​=s1​,⋯,Tn−1​=sn−1​}P{X(t+s1​+⋯+sn−1​)−X(s1​+s2​+⋯+sn−1​)=0}P{X(t)−X(0)=0}=e−λt​。
   第二个等号使用了泊松过程的独立、平稳增量性质。最终： F T n ( t ) = P { T n ⩽ t } = 1 − e − λ t F_{T_{n}}(t)=P\left\{T_{n} \leqslant t\right\}=1-\mathrm{e}^{-\lambda t} FTn​​(t)=P{Tn​⩽t}=1−e−λt。
   (详细证明见参考文献 1:P30)

   接下来， { W n , n ≥ 1 } \left\{W_{n}, n \geq 1\right\} {Wn​,n≥1} 是相应等待时间序列，即：$W_n={\sum }_{i=1}^n{T}_i$，则 $W_n$ 服从参数为$n$ 与$\lambda$的$\Gamma$分布，概率密度为$f_{W_n}(t)=\{\begin{array}{l}\lambda e^{-\lambda t}\frac{(\lambda t{)}^{n-1}}{(n-1)!},t\ge 0\\ 0,t<0\end{array}$

   证明：注意到第$n$个事件在时刻$t$或之前发生当且仅当到时间$t$已发生的事件数目至少是$n$，因此 P { W n ⩽ t } = P { X ( t ) ⩾ n } = ∑ j = n ∞ e − λ t ( λ t ) j j ! P\left\{W_{n} \leqslant t\right\}=P\{X(t) \geqslant n\}=\sum_{j=n}^{\infty} \mathrm{e}^{-\lambda t} \frac{(\lambda t)^{j}}{j !} P{Wn​⩽t}=P{X(t)⩾n}=∑j=n∞​e−λtj!(λt)j​。对上式求导，得到$W_n$的概率密度是$f_{W_n}(t)=-{\sum }_{j=n}^{\infty }\lambda {\mathrm{e}}^{-\lambda t}\frac{(\lambda t{)}^j}{j!}+{\sum }_{j=n}^{\infty }\lambda {\mathrm{e}}^{-\lambda t}\frac{(\lambda t{)}^{j-1}}{(j-1)!}=\lambda {\mathrm{e}}^{-\lambda t}\frac{(\lambda t{)}^{n-1}}{(n-1)!}.$

   $\Gamma$分布是$n$个互相独立且服从指数分布的随机变量之和的概率密度。

   再进一步，若已知 在$[0,t]$内事件A发生$n$次，则这$n$次事件的到达时间 $W_1<W_2<\dots <W_n$ 的条件概率密度为

   $f\left(t_1,\cdots ,t_n\right)=\{\begin{array}{ll}\frac{n!}{t^n},& 0<t_1<\cdots <t_n<t,\\ 0,& \text{ 其他. }\end{array}$

4. 非齐次泊松过程：满足泊松过程(1)(2)定义，但跳跃强度函数为$\lambda (t)$。

   注1：增量 $X(t+s)-X(s)$ 服从参数为 $m_X(t+s)-m_X(s)={\int }_s^{t+s}\lambda (u)du$的泊松分布
   注2：$X(t)$ 服从参数为 $m_X(t)={\int }_0^t\lambda (u)du$ 的泊松分布，因此$EX(t)=DX(t)=m_X(t)$

5. 复合泊松过程：设 { N ( t ) , t ≥ 0 } \{N(t), t \geq 0\} {N(t),t≥0} 是强度为 $\lambda$ 的泊松过程, { Y k , k = 1 , 2 , ⋯   } \left\{Y_{k}, k=1,2, \cdots\right\} {Yk​,k=1,2,⋯} 是一列独立同分布的随机变量，且与 { N ( t ) , t ≥ 0 } \{N(t), t \geq 0\} {N(t),t≥0} 独立, 令$X(t)={\sum }_{k=1}^{N(t)}{Y}_k$，则 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0} 为复合泊松过程。

例题

1. 设在 $[0,t]$ 内事件 $A$ 已经发生 $n$ 次, 且 $0<s<t$, 对于 $0<k<n$, 求 P { X ( s ) = k ∣ X ( t ) = n } P\{X(s)=k \mid X(t)=n\} P{X(s)=k∣X(t)=n}

   解：利用条件概率及泊松分布的增量独立性，得
   P { X ( s ) = k ∣ X ( t ) = n } = P { X ( s ) = k , X ( t ) = n } P { X ( t ) = n } = P { X ( s ) = k , X ( t ) − X ( s ) = n − k } P ( X ( t ) = n } = e − λ s ( λ s ) k k ! e − λ ( t − s ) [ λ ( t − s ) ] n − k ( n − k ) ! e − λ t ( λ t ) n n ! = C n k ( s t ) k ( 1 − s t ) n − k \begin{aligned} P\{X(s)=k \mid X(t)=n\} &=\frac{P\{X(s)=k, X(t)=n\}}{P\{X(t)=n\}} \\ &=\frac{P\{X(s)=k, X(t)-X(s)=n-k\}}{P(X(t)=n\}} \\ &=\frac{e^{-\lambda s} \frac{(\lambda s)^{k}}{k !} e^{-\lambda(t-s)} \frac{[\lambda(t-s)]^{n-k}}{(n-k) !}}{e^{-\lambda t} \frac{(\lambda t)^{n}}{n !}} \\ &=C_{n}^{k}\left(\frac{s}{t}\right)^{k}\left(1-\frac{s}{t}\right)^{n-k} \end{aligned} P{X(s)=k∣X(t)=n}​=P{X(t)=n}P{X(s)=k,X(t)=n}​=P(X(t)=n}P{X(s)=k,X(t)−X(s)=n−k}​=e−λtn!(λt)n​e−λsk!(λs)k​e−λ(t−s)(n−k)![λ(t−s)]n−k​​=Cnk​(ts​)k(1−ts​)n−k​

2. 设在$[0,t]$内事件$A$ 已经发生 $n$ 次,求第 $k(k<n)$ 次事件 $A$ 发生的时间 $W_k$ 的条件概率密度函数。

   解：当 $h$ 充分小时,有
   P { s < W k ⩽ s + h ∣ X ( t ) = n } = P { s < W k ⩽ s + h , X ( t ) = n } / P { X ( t ) = n } = P { s < W k ⩽ s + h , X ( t ) − X ( s + h ) = n − k } e λ t ( λ t ) − n n ! = P { s < W k ⩽ s + h } P { X ( t ) − X ( s + h ) = n − k } e λ t ( λ t ) − n n ! \begin{aligned} & P\left\{s<W_{k} \leqslant s+h \mid X(t)=n\right\} \\ =& P\left\{s<W_{k} \leqslant s+h, X(t)=n\right\} / P\{X(t)=n\} \\ =& P\left\{s<W_{k} \leqslant s+h, X(t)-X(s+h)=n-k\right\} \mathrm{e}^{\lambda t}(\lambda t)^{-n} n ! \\ =& P\left\{s<W_{k} \leqslant s+h\right\} P\{X(t)-X(s+h)=n-k\} \mathrm{e}^{\lambda t}(\lambda t)^{-n} n ! \end{aligned} ===​P{s<Wk​⩽s+h∣X(t)=n}P{s<Wk​⩽s+h,X(t)=n}/P{X(t)=n}P{s<Wk​⩽s+h,X(t)−X(s+h)=n−k}eλt(λt)−nn!P{s<Wk​⩽s+h}P{X(t)−X(s+h)=n−k}eλt(λt)−nn!​
   将概率分布关于$h$求导，就能得到$W_k$的概率密度：
   f W k ∣ X ( t ) ( s ∣ n ) = lim ⁡ h → 0 P { s < W k ⩽ s + h ∣ X ( t ) = n } h = f W k ( s ) P { X ( t ) − X ( s ) = n − k } e λ t ( λ t ) − n n ! = n ! ( k − 1 ) ! ( n − k ) ! s k − 1 t k ( 1 − s t ) n − k \begin{aligned} f_{W_{k} \mid X(t)}(s \mid n) &=\lim _{h \rightarrow 0} \frac{P\left\{s<W_{k} \leqslant s+h \mid X(t)=n\right\}}{h} \\ &=f_{W_{k}}(s) P\{X(t)-X(s)=n-k\} \mathrm{e}^{\lambda t}(\lambda t)^{-n} n ! \\ &=\frac{n !}{(k-1) !(n-k) !} \frac{s^{k-1}}{t^{k}}\left(1-\frac{s}{t}\right)^{n-k} \end{aligned} fWk​∣X(t)​(s∣n)​=h→0lim​hP{s<Wk​⩽s+h∣X(t)=n}​=fWk​​(s)P{X(t)−X(s)=n−k}eλt(λt)−nn!=(k−1)!(n−k)!n!​tksk−1​(1−ts​)n−k​
   其中 $W_k$ 的概率密度 $f_{W_k}(s)$ 前面已给出。我们称条件概率密度$f_{W_k\mid X(t)}(s\mid n)$符合Bata分布。

3. 设电话总机在$(0,t]$内接到电话呼叫数$X(t)$是具有强度(每分钟)为$\lambda$的泊松过程,求:
   (1) 两分钟内接到$3$次呼叫的概率;
   解： P { X ( t + 2 ) − X ( t ) = 3 } = ( 2 λ ) 3 3 ! e − 2 λ = 4 3 λ 3 e − 2 λ P\{X(t+2)-X(t)=3\}=\frac{(2 \lambda)^{3}}{3 !} \mathrm{e}^{-2 \lambda}=\frac{4}{3} \lambda^{3} \mathrm{e}^{-2 \lambda} P{X(t+2)−X(t)=3}=3!(2λ)3​e−2λ=34​λ3e−2λ
   (2) “第二分钟内收到第三次呼叫”的概率。
   解： P = ∑ k = 0 2 P { X ( 1 ) − X ( 0 ) = k , X ( 2 ) − X ( 1 ) ⩾ 3 − k } = ∑ k = 0 2 P { X ( 1 ) − X ( 0 ) = k } P { X ( 2 ) − X ( 1 ) ⩾ 3 − k } = e − λ ( 1 − e − λ − λ e − λ − λ 2 2 e − λ ) + λ e − λ ( 1 − e − λ − λ e − λ ) + λ 2 2 e − λ ( 1 − e − λ ) = e − λ [ ( 1 + λ + λ 2 2 ) − e − λ ( 1 + 2 λ + 2 λ 2 ) ] \begin{aligned} P &=\sum_{k=0}^{2} P\{X(1)-X(0)=k, X(2)-X(1) \geqslant 3-k\} \\ &=\sum_{k=0}^{2} P\{X(1)-X(0)=k\} P\{X(2)-X(1) \geqslant 3-k\} \\ &=\mathrm{e}^{-\lambda}\left(1-\mathrm{e}^{-\lambda}-\lambda \mathrm{e}^{-\lambda}-\frac{\lambda^{2}}{2} \mathrm{e}^{-\lambda}\right)+\lambda \mathrm{e}^{-\lambda}\left(1-\mathrm{e}^{-\lambda}-\lambda \mathrm{e}^{-\lambda}\right)+\frac{\lambda^{2}}{2} \mathrm{e}^{-\lambda}\left(1-\mathrm{e}^{-\lambda}\right) \\ &=\mathrm{e}^{-\lambda}\left[\left(1+\lambda+\frac{\lambda^{2}}{2}\right)-\mathrm{e}^{-\lambda}\left(1+2 \lambda+2 \lambda^{2}\right)\right] \end{aligned} P​=k=0∑2​P{X(1)−X(0)=k,X(2)−X(1)⩾3−k}=k=0∑2​P{X(1)−X(0)=k}P{X(2)−X(1)⩾3−k}=e−λ(1−e−λ−λe−λ−2λ2​e−λ)+λe−λ(1−e−λ−λe−λ)+2λ2​e−λ(1−e−λ)=e−λ[(1+λ+2λ2​)−e−λ(1+2λ+2λ2)]​

4. 设 { X ( t ) , t ⩾ 0 } \{X(t), t \geqslant 0\} {X(t),t⩾0}为具有参数$\lambda$的泊松过程,证明:
   (1) $E\left(W_n\right)=\frac{n}{\lambda }$, 即泊松过程第$n$次到达时间的数学期望恰好是到达率倒数的$n$倍;
   解：设$T_i$表示 { X ( t ) , t ⩾ 0 } \{X(t), t \geqslant 0\} {X(t),t⩾0}第$i-1$次事件发生到第$i$次事件发生的时间间隔,则$T_i(i=1,2,\cdots ,n)$相互独立且都服从均值为$\frac{1}{\lambda }$的指数分布，$E{T}_i=\frac{1}{\lambda },D{T}_i=\frac{1}{{\lambda }^2},i=1,2,\cdots ,n$
   $E{W}_n=E\left[{\sum }_{i=1}^n{T}_i\right]={\sum }_{i=1}^{n}E{T}_i=\frac{n}{\lambda }$
   (2) $D\left(W_n\right)=\frac{n}{{\lambda }^2}$, 即泊松过程第$n$次到达时间的方差恰好是到达率平方的倒数的$n$倍.
   解：$D{W}_n=D\left[{\sum }_{i=1}^n{T}_i\right]={\sum }_{i=1}^{n}D{T}_i=\frac{n}{{\lambda }^2}$

5. 某路公共汽车从早晨5时到晚上9时有车发出，乘客流量为$\lambda (t)$($t=0$为早晨5时，$t=16$为晚上9时)
   $$\lambda (t)=\{\begin{array}{lr}200+400t,& 0\le t\le 3\\ 1400,& 3<t\le 13\\ 1400-400(t-13),& 13<t\le 16\end{array}$$
   假设乘客数在不相重叠时间间隔内是相互独立的，求$12$时至$14$时有 $2000$人来站乘车的概率，并求这两小时内来站乘车人数的数学期望。

   解：$12$时至$14$时为$t\in [7,9]$。在$[0,t]$内到达的乘车人数$X(t)$服从参数为$\lambda (\mathbf{t})$的非齐次泊松过程，$12$时至$14$时乘车人数的数学期望为：$E[X(9)-X(7)]=m_X(9)-m_X(7)={\int }_7^9\lambda (s)ds={\int }_7^{9}1400ds=2800$

   而这同时也是这段时间内的泊松过程参数，因此，$12$时至$14$时有$2000$人来站乘车的概率为： P { X ( 9 ) − X ( 7 ) = 2000 } = e − 2800 ( 2800 ) 2000 2000 ! {P}\{{X}(9)-{X}(7)=2000\}=e^{-2800} \frac{(2800)^{2000}}{2000 !} P{X(9)−X(7)=2000}=e−28002000!(2800)2000​

---

离散时间的马尔科夫链

知识点

1. 对时间、状态都是离散的随机过程 { X n , n ∈ T } \{X_n,n\in T\} {Xn​,n∈T}，记参数集 T = { 0 , 1 , 2 , … } T=\{0,1,2, \ldots\} T={0,1,2,…}, 状态空间 I = { 0 , 1 , 2 , … } I=\{0,1,2, \ldots\} I={0,1,2,…}，马尔科夫链的统计特性完全由条件概率 P { X n + 1 = i n + 1 ∣ X n = i n } P\{X_{n+1}=i_{n+1}|X_n=i_n\} P{Xn+1​=in+1​∣Xn​=in​}确定。

2. 本章节主要讨论齐次马尔可夫链，即转移概率为与$n$无关的平稳转移概率，$p_{ij}(n)=p_{ij}$。此时，转移概率满足：(1) $p_{ij}\ge 0,i,j\in I$；(2) ${\sum }_{j\in I}{p}_{ij}=1,i\in I$；相应的一步转移概率矩阵$\mathbf{P}$也是随机矩阵。

3. 当$i,j\in I,m\ge 0,n\ge 1$，称条件概率 p i j ( n ) = P { X m + n = j ∣ X m = i } p_{i j}^{(n)}=P\left\{X_{m+n}=j \mid X_{m}=i\right\} pij(n)​=P{Xm+n​=j∣Xm​=i}为马尔可夫链 { X n , n ∈ T } \left\{X_{n},\quad n \in T\right\} {Xn​,n∈T}的**$n$步转移概率**，称一步转移概率矩阵的$n$次幂${\mathbf{P}}^{(n)}=\left(p_{ij}^{(n)}\right)$为**$n$步转移矩阵**。

当$n=1$时，$p_{ij}^{(1)}=p_{ij},{\mathbf{P}}^{(1)}=\mathbf{P}$；当$n=0$时，规定 p i j ( 0 ) = { 0 , i ≠ j 1 , i = j . p_{i j}^{(0)}=\{\begin{array}{l}0, i \neq j \\ 1, i=j\end{array}. pij(0)​={0,i​=j1,i=j​.

4. 切普曼-柯尔莫哥洛夫方程($C-K$方程)：$p_{ij}^{(n)}={\sum }_{k\in I}{p}_{ik}^{(l)}{p}_{kj}^{(n-l)}$, 即${\mathbf{P}}^{(n)}={\mathbf{P}}^{(l)}{\mathbf{P}}^{(n-l)}={\mathbf{P}}^n$

5. 初始概率： p j = P { X 0 = j } p_{j}=P\{X_{0}=j\} pj​=P{X0​=j} ， 绝对概率： p j ( n ) = P { X n = j } p_j(n)=P\{X_{n}=j\} pj​(n)=P{Xn​=j}
   初始分布： { p j , j ∈ I } \{p_{j}, j \in I\} {pj​,j∈I} ， 绝对分布： { p j ( n ) , j ∈ I } \{p_{j}(n), j \in I\} {pj​(n),j∈I}
   初始概率向量：${\mathbf{p}}^{\top }(0)=(p_1,p_2,\cdots )$， 绝对概率向量：${\mathbf{p}}^{\top }(n)=(p_1(n),p_2(n),\cdots )$

   注：(1) $p_j(n)=P(X(j)=n)={\sum }_{i\in I}P(X(0)=i)P(X(j)=n\mid X(0)=i)={\sum }_{i\in I}{p}_i{p}_{ij}^{(n)}$，即马尔可夫链的任何有限维概率分布完全由它的初始概率和一步转移概率所决定；(2) $p_j(n)={\sum }_{i\in I}{p}_i(n-1)p_{ij}$；(3) ${\mathbf{p}}^{\top }(n)={\mathbf{p}}^{\top }(0){\mathbf{P}}^{(n)}$；(4) ${\mathbf{p}}^{\top }(n)={\mathbf{p}}^{\top }(n-1)\mathbf{P}$。

6. 如集合 { n : n ≥ 1 , p i i ( n ) > 0 } \{n: n \geq 1, p_{i i}^{(n)}>0\} {n:n≥1,pii(n)​>0}非空，则称该集合的最大公约数 d = d ( i ) = G . C . D . { n : p i i ( n ) > 0 } d=d(i)=G.C.D.\{n: p_{i i}^{(n)}>0\} d=d(i)=G.C.D.{n:pii(n)​>0}为状态$i$的周期。如果$d>1$就称$i$为周期的，如果$d=1$就称$i$为非周期。

   注：(1) 如果$i$有周期 $d$,则对一切非零的$n\ne 0(\mathrm{m}\mathrm{o}\mathrm{d}(d))$,都有$p_{ii}^{(n)}=0.$,但反过来，并不是对任意的$n$,都有 $p_{ii}^{(nd)}>0.$；(2)如果$i$的周期为$d$,则存在正整数$M$对一切$n\ge M$,有$p_{ii}^{(nd)}>0.$

7. 首达概率：由$i$出发经$n$步首次到达$j$的概率 f i j ( n ) = P { X m + v ≠ j , 1 ≤ v ≤ n − 1 , X m + n = j ∣ X m = i } n ≥ 1 f_{ij}^{(n)}=P\{X_{m+v} \neq j, 1 \leq {v} \leq {n-1}, X_{m+n}=j \mid X_m=i\} \quad {n \geq 1} fij(n)​=P{Xm+v​​=j,1≤v≤n−1,Xm+n​=j∣Xm​=i}n≥1,规定$f_{ii}^{(0)}=0$。

   注：由$i$出发经有限步终于到达$j$的概率$f_{ij}={\sum }_{n=1}^{\infty }{f}_{ij}^{(n)}$

8. 若$f_{ii}=1$, 称状态为常返的; 若 $f_{ii}<1$, 称状态为非常返的。

   注: $i$为非常返，则以概率1- $f_{ii}$不返回到$i$; $i$为常返，则 ∑ n = 1 ∞ f i i ( n ) = 1 , { f i i ( n ) , n ≥ 1 } \sum_{n=1}^{\infty} f_{ii}^{(n)}=1,\{f_{ii}^{(n)}, n \geq 1\} ∑n=1∞​fii(n)​=1,{fii(n)​,n≥1}构成一概率分布.

   期望值 ${\mu }_i={\sum }_{n=1}^{\infty }n{f}_{ii}^{(n)}$表示由$i$出发再返回到$i$的平均返回時间。
   若${\mu }_i<\infty$,则称常返态为正常返的;若${\mu }_i=\infty$,则称常返态$i$为零常返的,非周期的正常返态称为遍历状态。

9. 对任意状态 $i,j$ 及$1\le n<\infty$, 有：$p_{ij}^{(n)}={\sum }_{k=1}^n{f}_{ij}^{(k)}{p}_{jj}^{(n-k)}={\sum }_{k=0}^n{f}_{ij}^{(n-k)}{p}_{jj}^{(k)}$

   证明：利用马尔可夫性质，将首中概率构造出来。
   p i j ( n ) = P { X n = j ∣ X 0 = i } = ∑ k = 1 n P { X v ≠ j , 1 ⩽ v ⩽ k − 1 , X k = j , X n = j ∣ X 0 = i } = ∑ k = 1 n P { X n = j ∣ X 0 = i , X v ≠ j , 1 ⩽ v ⩽ k − 1 , X k = j } ⋅ P { X v ≠ j , 1 ⩽ v ⩽ k − 1 , X k = j ∣ X 0 = i } = ∑ k = 1 n p j j ( n − k ) f i j ( k ) \begin{aligned} p_{i j}^{(n)}=& P\left\{X_{n}=j \mid X_{0}=i\right\} \\=& \sum_{k=1}^{n} P\left\{X_{v} \neq j, 1 \leqslant v \leqslant k-1, X_{k}=j, X_{n}=j \mid X_{0}=i\right\} \\ &=\sum_{k=1}^{n} P\left\{X_{n}=j \mid X_{0}=i, X_{v} \neq j, 1 \leqslant v \leqslant k-1, X_{k}=j\right\} \\ & \cdot P\left\{X_{v} \neq j, 1 \leqslant v \leqslant k-1, X_{k}=j \mid X_{0}=i\right\} \\ &=\sum_{k=1}^{n} p_{j j}^{(n-k)} f_{i j}^{(k)} \end{aligned} pij(n)​==​P{Xn​=j∣X0​=i}k=1∑n​P{Xv​​=j,1⩽v⩽k−1,Xk​=j,Xn​=j∣X0​=i}=k=1∑n​P{Xn​=j∣X0​=i,Xv​​=j,1⩽v⩽k−1,Xk​=j}⋅P{Xv​​=j,1⩽v⩽k−1,Xk​=j∣X0​=i}=k=1∑n​pjj(n−k)​fij(k)​​

10. 状态$i$常返的充要条件为${\sum }_{n=0}^{\infty }{p}_{ii}^{(n)}=\infty$，如$i$非常返，则 ${\sum }_{n=0}^{\infty }{p}_{ii}^{(n)}=\frac{1}{1-f_{ii}}$。

    即：当$i$常返时，返回$i$的次数是无限多次；当$i$非常返时，返回$i$的次数只能是有限多次。由此引入新概念“超限“概率： g i j = P { 有 无 限 多 个 n 使 X n = j ∣ X 0 = i } = P i { ⋃ m = 1 ∞ ⋃ n = m ∞ ( X n = j ) } g_{ij}=P\{{有无限多个n使X_n=j}\mid X_0=i\}=P_i\{\bigcup_{m=1}^{\infty} \bigcup_{n=m}^{\infty} (X_n=j)\} gij​=P{有无限多个n使Xn​=j∣X0​=i}=Pi​{⋃m=1∞​⋃n=m∞​(Xn​=j)}。

    对任意状态$i$,有$g_{ij}=\{\begin{array}{ll}{f}_{ij},& j\text{ 常返 }\\ 0,& j\text{ 非常返. }\end{array}$。

    状态$i$常返，当且仅当$g_{ii}=1$。$i$非常返，当且仅当$g_{ii}=0$。

11. 设常返且有周期为$d$则${\lim }_{n\to \infty }{p}_{ii}^{(nd)}=\frac{d}{{\mu }_i}$,其中${\mu }_i$为$i$的平均返回时间。当${\mu }_i=\infty$时${\lim }_{n\to \infty }{p}_{ii}^{(nd)}=0$

    设$i$常返，则: (1) $i$零常返 $\iff {\lim }_{n\to \infty }{p}_{ii}^{(n)}=0$；(2) $i$遍历 $\iff {\lim }_{n\to \infty }{p}_{ii}^{(n)}=\frac{1}{{\mu }_i}>0$

12. (重要)如 $i\leftrightarrow j$, 则：(1) $i$与$j$同为常返或非常返，如为常返，则它们同为正常返或零常返；(2) $i$与$j$有相同的周期。

    由于可达关系与互通关系都具有传递性，因此在互通的状态闭集中只需要研究最简单的一个状态即可。

13. $C$是闭集的充要条件为对$i\in C$及$k\notin C$都有$p_{ik}^{(n)}=0,n>0$。若此时$C$的状态互通，则闭集$C$是不可约的。

14. 马尔可夫链状态空间的分解：任一马氏链的状态空间$I$, 可唯一的分解成有限个或可列个互不相交的子集 $N,C_1,C_2,\cdots$ 之和，使得：
    (1) 每一$C_n$是常返态组成的不可约闭集。
    (2) $C_n$ 中的状态同类，即或全是正常返，或全是零常返，并有相同的周期。
    (3) $N$ 由全体非常返态组成。

15. 渐进性质：(1) ${\lim }_{n\to \infty }{p}_{jj}^{(n)}=\{\begin{array}{ll}0,& j\text{ 非常返或零常返 }\\ \frac{1}{{\mu }_j},& j\text{ 非周期正常返(遍历) }\end{array}$; (2) lim ⁡ n → ∞ p i j ( n ) = { 0 , j  非常返或零常返  1 μ j , { X n }  是不可约遍历马氏链  \lim _{n \rightarrow \infty} p_{i j}^{(n)}=\left\{\begin{array}{ll}0, & j \text { 非常返或零常返 } \\ \frac{1}{\mu_{j}}, & \left\{X_{n}\right\} \text { 是不可约遍历马氏链 }\end{array}\right. limn→∞​pij(n)​={0,μj​1​,​j 非常返或零常返 {Xn​} 是不可约遍历马氏链 ​

    推论1：有限状态的不可约闭集必为正常返集（非常好用，由转移概率矩阵行列概率和为1的性质证明）

    推论2：如马氏链有一个零常返状态，则必有无限多个零常返状态。

16. 如$j$是正常返状态，周期为$d$, 则对任意$i$及$0\le r\le d-1$, 有${\lim }_{n\to \infty }{p}_{ij}^{(nd+r)}=f_{ij}(r)\frac{d}{{\mu }_j}$

    可由知识点11的定理推出。

17. 对任意状态$i,j$,有： ${\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{p}_{ij}^{(k)}=\{\begin{array}{ll}{f}_{ij}/{\mu }_j,& j\text{ 正常返 }\\ 0,& j\text{ 非常返或零常返. }\end{array}$

    可由知识点15的定理(2)与知识点16推出

    推论：如 { X n } \{X_{n}\} {Xn​}不可约、常返，则对任意$i,j$有${\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{p}_{ij}^{(k)}=\frac{1}{{\mu }_j}$

18. 称概率分布 { π j , j ∈ I } \{\pi_{j}, j \in I\} {πj​,j∈I}为马尔可夫链的平稳分布，若$\{\begin{array}{l}{\pi }_j={\sum }_{i\in I}{\pi }_i{p}_{ij}\\ {\sum }_{j\in I}{\pi }_j=1,{\pi }_j\ge 0\end{array}$。

    平稳分布定义的矩阵形式为：$\pi \mathbf{P}=\pi$

19. 不可约非周期马氏链(或闭集)是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布，即:${\pi }_j={\lim }_{n\to \infty }{p}_{ij}^{(n)}=\frac{1}{{\mu }_j}$

    推论：(1) 有限状态的不可约非周期马尔可夫链必存在平稳分布。(2) 若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布。(3) 若 { π j , j ∈ I } \{\pi_{j}, j \in I\} {πj​,j∈I} 是马尔可夫链的平稳分布, 则 ${\lim }_{n\to \infty }{p}_j(n)=\frac{1}{{\mu }_j}={\pi }_j$

例题

1. 设马尔可夫链的状态空间 I = { 1 , 2 , 3 } I=\{1,2,3\} I={1,2,3}, 转移概率矩阵为
   $$\mathbf{P}=\left(\begin{array}{ccc}0& p_1& q_1\\ q_2& 0& p_2\\ p_3& q_3& 0\end{array}\right)$$
   求从状态$1$出发经$n$步转移首次到达各状态的概率。
   解：$f_{12}^{(1)}=p_1$， $f_{12}^{(2)}=q_1{q}_3$， $f_{12}^{(3)}=(q_1{p}_3)p_1$， $f_{12}^{(4)}=(q_1{p}_3)q_1{q}_3$
   $f_{12}^{(n)}=\{\begin{array}{l}{\left(q_1{p}_3\right)}^{m-1}{q}_1{q}_3,n=2m,m\ge 1\\ {\left(q_1{p}_3\right)}^m{p}_1,n=2m+1,m\ge 0\end{array}$， $f_{13}^{(n)}=\{\begin{array}{l}{\left(p_1{q}_2\right)}^{m-1}{p}_1{p}_2,n=2m,m\ge 1\\ {\left(p_1{q}_2\right)}^m{q}_1,n=2m+1,m\ge 0\end{array}$
   $f_{11}^{(n)}=\{\begin{array}{l}0,n=1,\\ p_1{\left(p_2{q}_3\right)}^{m-1}{q}_2+q_1{\left(q_3{p}_2\right)}^{m-1}{p}_3,n=2m,m⩾1\\ p_1{\left(p_2{q}_3\right)}^{m-1}{p}_2{p}_3+q_1{\left(q_3{p}_2\right)}^{m-1}{q}_2{q}_3,n=2m+1,m⩾1.\end{array}$

2. 

   解：由状态转移图知$f_{11}^{(3)}=1,f_{11}^{(n)}=0,n\ne 3$, 故${\mu }_1={\sum }_{n=1}^{\infty }n{f}_{11}^{(n)}=3$
   可见$1$为正常返状态且周期为$3$，含$1$的基本常返闭集为 C 1 = { k : 1 → k } = { 1 , 3 , 5 } C_{1}=\{k:1\rightarrow k\}=\{1,3,5\} C1​={k:1→k}={1,3,5}, 从而状态$3$及$5$也为正常返状态且周期为$3$。
   同理可知$6$为正常返状态， ${\mu }_6=3/2$, 周期为$1$。含$6$的基本常返闭集为 C 2 = { k : 6 → k } = { 2 , 6 } C_{2}=\{k: 6 \rightarrow k\}=\{2,6\} C2​={k:6→k}={2,6}, 可见$2,6$为遍历状态。
   由于$f_{44}^{(1)}=\frac{1}{3},f_{44}^{(n)}=0,n\ne 1$, 故$4$非常返周期为$1$。于是$I$可分解为 I = D ∪ C 1 ∪ C 2 = { 4 } ∪ { 1 , 3 , 5 } ∪ { 2 , 6 } I=D \cup C_{1} \cup C_{2}=\{4\} \cup\{1,3,5\} \cup\{2,6\} I=D∪C1​∪C2​={4}∪{1,3,5}∪{2,6}

3. 讨论下列状态转移矩阵的马尔可夫链的状态分类。
   (1) $P=\left(\begin{array}{ccccc}0.2& 0.3& 0.5& 0& 0\\ 0.7& 0.3& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 0& 0.4& 0.6\\ 0& 0& 0& 1& 0\end{array}\right)$。 解： C 1 = { 1 , 2 , 3 } , C 2 = { 4 , 5 } C_{1}=\{1,2,3\}, C_{2}=\{4,5\} C1​={1,2,3},C2​={4,5} 两个遍历状态闭集。
   (2) $\mathbf{P}=\left(\begin{array}{cccc}0& 0& 1& 0\\ 1& 0& 0& 0\\ 0.3& 0.7& 0& 0\\ 0.6& 0.2& 0.2& 0\end{array}\right)$。 解： C = { 1 , 2 , 3 } C=\{1,2,3\} C={1,2,3} 遍历闭集, N = { 4 } N=\{4\} N={4} 非常返态。
   (3) $\mathbf{P}=\left(\begin{array}{cccccccc}1& 0& \cdots & \cdots & \cdots & \cdots & \cdots & 0\\ q& r& p& 0& \cdots & \cdots & \cdots & 0\\ 0& q& r& p& 0& \cdots & \cdots & 0\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ 0& \cdots & \cdots & \cdots & 0& q& r& p\\ 0& \cdots & \cdots & \cdots & \cdots & \cdots & 0& 1\end{array}\right)$，其中 q + r + p = 1 , I = { 0 , 1 , ⋯   , b } q+r+p=1, I=\{0,1, \cdots, b\} q+r+p=1,I={0,1,⋯,b}。 解： C 1 = { 0 } , C 2 = { b } C_{1}=\{0\}, C_{2}=\{b\} C1​={0},C2​={b} 是吸收态闭集, N = { 1 , ⋯   , b − 1 } N=\{1, \cdots, b-1\} N={1,⋯,b−1} 是非常返集。

4. 设马尔可夫链的转移概率矩阵为$\mathbf{P}=\left(\begin{array}{ccc}0.7& 0.1& 0.2\\ 0.1& 0.8& 0.1\\ 0.05& 0.05& 0.9\end{array}\right)$，求马尔可夫链的平稳分布及各状态的平均返回时间。

   解：因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设$\pi =\left({\pi }_1,{\pi }_2,{\pi }_3\right)$,则$\pi =\pi \mathbf{P}$, ${\pi }_1+{\pi }_2+{\pi }_3=1$即：$\{\begin{array}{l}{\pi }_1=0.7{\pi }_1+0.1{\pi }_2+0.05{\pi }_3\\ {\pi }_2=0.1{\pi }_1+0.8{\pi }_2+0.05{\pi }_3\\ {\pi }_3=0.2{\pi }_1+0.1{\pi }_2+0.9{\pi }_3\\ {\pi }_1+{\pi }_2+{\pi }_3=1\end{array}$，各状态的平均返回时间为${\mu }_1=\frac{1}{{\pi }_1}=5.67,{\mu }_2=\frac{1}{{\pi }_2}=4.25,{\mu }_3=\frac{1}{{\pi }_3}=1.70$

5. (1)
   
   (2) $\mathbf{P}=\left(\begin{array}{ccccccc}0.4& 0.2& 0.1& 0& 0.1& 0.1& 0.1\\ 0.1& 0.3& 0.2& 0.2& 0.1& 0.1& 0.1\\ 0& 0& 0.6& 0.4& 0& 0& 0\\ 0& 0& 0.4& 0& 0.6& 0& 0\\ 0& 0& 0.2& 0.5& 0.3& 0& 0\\ 0& 0& 0& 0& 0& 0.3& 0.7\\ 0& 0& 0& 0& 0& 0.8& 0.2\end{array}\right)$。
   类似， N = { 1 , 2 } N=\{1,2\} N={1,2} 非常返集, C 1 = { 3 , 4 , 5 } , C 2 = { 6 , 7 } C_{1}=\{3,4,5\}, C_{2}=\{6,7\} C1​={3,4,5},C2​={6,7} 是正常返闭集

6. 设马尔可夫链具有状态空间 I = { 0 , 1 , 2 , … } I=\{0,1,2, \ldots\} I={0,1,2,…}, 转移概率为$p_{i,i+1}=p_i$,$p_{ii}=r_i,p_{i,i-1}=q_i(i\ge 0)$，其中$q_0=0,p_i,q_i>0$, $p_i+r_i+q_i=1$。此马尔可夫链称为生灭链，它是不可约的。记$a_0=1$,${\mathbf{a}}_j=\frac{{\mathbf{p}}_0{\mathbf{p}}_1\cdots {\mathbf{p}}_{j-1}}{{\mathbf{q}}_1{\mathbf{q}}_2\cdots {\mathbf{q}}_j},(\mathbf{j}\ge 1)$。求平稳分布。
   解：解方程$\{\begin{array}{l}{\pi }_0={\pi }_0{\mathbf{r}}_0+{\pi }_1{\mathbf{q}}_1\\ {\pi }_j={\pi }_{j-1}{\mathbf{p}}_{j-1}+{\pi }_j{\mathbf{r}}_j+{\pi }_{j+1}{\mathbf{q}}_{j+1}\\ {\mathbf{p}}_j+{\mathbf{r}}_j+{\mathbf{q}}_j=1\end{array}$，得到$\{\begin{array}{l}{\mathbf{q}}_1{\pi }_1-{\mathbf{p}}_0{\pi }_0=0\\ {\mathbf{q}}_{j+1}{\pi }_{j+1}-{\mathbf{p}}_j{\pi }_j={\mathbf{q}}_j{\pi }_j-{\mathbf{p}}_{j-1}{\pi }_{j-1}\end{array}$。最终得到${\pi }_j=\frac{{\mathbf{p}}_{j-1}{\pi }_{j-1}}{{\mathbf{q}}_j},\mathbf{j}\ge 1$。所以${\pi }_j=\frac{{\mathbf{p}}_{j-1}{\pi }_{j-1}}{{\mathbf{q}}_j}=\cdots =\frac{{\mathbf{p}}_0\cdots {\mathbf{p}}_{j-1}}{{\mathbf{q}}_1\cdots {\mathbf{q}}_j}{\pi }_0={\mathbf{a}}_j{\pi }_0$。对$j$求和得 $1={\sum }_{j=0}^{\infty }{\pi }_j={\pi }_0{\sum }_{j=0}^{\infty }{\mathbf{a}}_j$。
   由此可知平稳分布存在的充要条件是${\sum }_{j=0}^{\infty }{a}_j<\infty$，此时${\pi }_0=\frac{1}{{\sum }_{j=0}^{\infty }{a}_j},{\pi }_j=\frac{a_j}{{\sum }_{j=0}^{\infty }{a}_j},j\ge 1$

7. 设河流每天的BOD(生物耗氧量)浓度为齐次马尔可夫链,状态空间 I = { 1 , 2 , 3 , 4 } I=\{1,2,3,4\} I={1,2,3,4}是BOD 浓度为极低、低、中、高分别表示的,其一步转移概率矩阵(以一天为单位)为$\mathbf{P}=\left(\begin{array}{cccc}0.5& 0.4& 0.1& 0\\ 0.2& 0.5& 0.2& 0.1\\ 0.1& 0.2& 0.6& 0.1\\ 0& 0.2& 0.4& 0.4\end{array}\right)$。若BOD浓度为高,则称河流处于污染状态。
   (1) 证明该链是遍历链。 解：有限状态不可约即为正常返，又因为$d=1$非周期，所以得证。
   (2) 求该链的平稳分布。 解：略。
   (3) 河流再次达到污染的平均时间${\mu }_4$。 解：${\mu }_4=\frac{1}{{\pi }_4}$

---

连续时间的马尔科夫链

知识点

1. 连续时间马尔可夫链的条件概率一般形式为： P { X ( s + t ) = j ∣ X ( s ) = i } = p i j ( s , t ) P\{X(s+t)=j\mid X(s)=i\}=p_{ij}(s,t) P{X(s+t)=j∣X(s)=i}=pij​(s,t)，它表示系统在$s$时刻处于状态$i$，经过时间$t$后转移到状态$j$的转移概率。若$p_{ij}(s,t)=p_{ij}(t)$，与起始状态$s$无关，则称其为齐次马尔可夫过程，以下定理均有此假定。

2. 若${\tau }_i$为过程在状态转移之前停留在状态$i$的时间，则对$s,t\ge 0$有：(1) P { τ i > s + t ∣ τ i > s } = P { τ i > t } P\left\{\tau_{i}>s+t \mid \tau_{i}>s\right\}=P\left\{\tau_{i}>t\right\} P{τi​>s+t∣τi​>s}=P{τi​>t}，即随机变量${\tau }_i$具有无记忆性，与下一个状态的到达是相互独立的；(2) ${\tau }_i$服从参数为${\lambda }_i$的指数分布，即$F(x)=1-e^{-\lambda x}$; (3) 当过程离开状态 $i$ 时，接着以概率$p_{ij}$进入状态$j$,且${\sum }_{j\ne i}{p}_{ij}=1$。

   连续时间马尔可夫链的本质：按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布。此外,过程在状态$i$停留的时间与下一个到达的状态必须是相互独立的随机变量，因为若下一个到达的状态依赖于 ${\tau }_i$, 那么过程处于状态$i$已有多久的信息与下一个状态的预报有关,这就与马尔可夫性的假定相矛盾。

3. 对于状态转移概率$p_{ij}(t)$，一般假定它满足正则性条件：${\lim }_{t\to 0}{p}_{ij}(t)=\{\begin{array}{l}1,i=j\\ 0,i\ne j\end{array}$

   该条件说明，一个物理系统不可能在有限时间内发生无限多次跳跃

4. 初始概率： p j = p j ( 0 ) = P { X ( 0 ) = j } , j ∈ I p_{j}=p_{j}(0)=P\{X(0)=j\}, j\in I pj​=pj​(0)=P{X(0)=j},j∈I， 绝对概率： p j ( t ) = P { X ( t ) = j } , j ∈ I , t ≥ 0 p_j(t)=P\{X(t)=j\}, j \in I, t \geq 0 pj​(t)=P{X(t)=j},j∈I,t≥0
   初始分布： p = { p j , j ∈ I } p=\left\{p_{j}, j \in I\right\} p={pj​,j∈I}， 绝对分布： p ( t ) = { p j ( t ) , j ∈ I } t ≥ 0 p(t)=\left\{p_{j}(t), j \in I\right\} \quad t \geq 0 p(t)={pj​(t),j∈I}t≥0

5. （重要）在正则性条件下，$q_{ii}={\lim }_{t\to 0}\frac{1-p_{ii}(t)}{t}={\lambda }_i$称为逃离速率，即状态$i$的停留时间 ${\tau }_i$服从参数为$q_{ii}$的指数分布。$q_{ij}={\lim }_{t\to 0}\frac{p_{ij}(t)}{t},i\ne j$称为转移速率。若连续时间齐次马尔可夫链具有有限状态空间 I = { 0 , 1 , 2 , … , n } I=\{0,1,2, \ldots, n\} I={0,1,2,…,n}, 则$Q=\left(\begin{array}{cccc}-q_{00}& q_{01}& \cdots & q_{0n}\\ q_{10}& -q_{11}& \cdots & q_{1n}\\ \cdots & \cdots & \cdots & \cdots \\ q_{n0}& q_{n1}& \cdots & -q_{nn}\end{array}\right)$

6. 关于$p_{ij}^{\prime }(t)={\lim }_{h\to 0}\frac{p_{ij}(t+h)-p_{ij}(t)}{h}$，有：
   柯尔莫哥洛夫向后方程：假设保守性条件$q_{ii}={\sum }_{k\ne i}{q}_{ik}$, 则对一切$i,j$及$t\ge 0$,有$p_{ij}^{\prime }(t)={\sum }_{k\ne i}{q}_{ik}{p}_{kj}(t)-q_{ii}{p}_{ij}(t)={\mathbf{Q}}_i{\mathbf{P}}_j(t)$

   柯尔莫哥洛夫向前方程：在适当的正则条件下有$p_{ij}^{\prime }(t)={\sum }_{k\ne j}{p}_{ik}(t)q_{kj}-p_{ij}(t)q_{jj}={\mathbf{P}}_i(t){\mathbf{Q}}_j$。并不是恒成立，在包括全部生灭过程与全部有限状态的模型中成立。

   这样，连续时间马尔科夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移概率矩阵$Q$决定。若$Q$是一个有限矩阵，求解以上两式，则有：$\mathbf{P}(t)=e^{Qt}={\sum }_{n=0}^{\infty }\frac{(\mathbf{Q}t{)}^n}{n!}$，显然$\mathbf{P}(0)=\mathbf{I}$。

   若向前方程成立，齐次马尔可夫过程在$t$时刻处于状态$j\in$ I的绝对概率 $p_j(t)$ 满足方程:$p_j^{\prime }(t)={\sum }_{k\ne j}{p}_k(t)q_{kj}-p_j(t)q_{jj}$

   在实际应用中,当固定最后所处状态$j$,研究$p_{ij}(t)(i=0,1,\cdots )$ 时,采用向后方程较方便;当固定状态$i$, 研究$p_{ij}(t)(j=0,1,\cdots )$时，采用向前方程较方便。

7. 可达、互通与不可约概念与离散时间马氏链类似，此外：(1) 状态$i$为常返的，若${\int }_0^{\infty }{p}_{ii}(t)\mathrm{d}t=+\infty$；(2) 状态$i$为正常返的，若${\lim }_{t\to \infty }{p}_{ii}(t)>0$；(3) 状态$i$为零常返的; 若${\lim }_{t\to \infty }{p}_{ii}(t)=0$。

8. 设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限${\lim }_{t\to \infty }{p}_{ij}(t)$存在且等于${\pi }_j>0,j\in I$。这里${\pi }_j$ 是${\pi }_j{q}_{jj}={\sum }_{k\ne j}{\pi }_k{q}_{kj},{\sum }_{j\in I}{\pi }_j=1$的唯一非负解，此时称 { π j > 0 , j ∈ I } \{\pi_{j}>\mathbf{0}, j \in I \} {πj​>0,j∈I}是该过程的平稳分布；(2)若它是零常返的或非常返的，则${\lim }_{t\to \infty }{p}_{ij}(t)={\lim }_{t\to \infty }{p}_j(t)=0,i,j\in I$。

   ${\pi }_j{q}_{jj}={\sum }_{k\ne j}{\pi }_k{q}_{kj}\iff {\sum }_{k\ne j}{\pi }_k{q}_{kj}-{\pi }_j{q}_{jj}=0\iff \pi Q_j=0\iff \pi Q=0$

9. 设齐次马尔可夫过程 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0}的状态空间为 I = { 0 , 1 , 2 , ⋯   } I=\{0,1,2, \cdots\} I={0,1,2,⋯}，转移概率为$p_{ij}(t)$，若：
   $$\begin{array}{c}{p}_{i,i+1}(h)={\lambda }_{i}h+o(h),{\lambda }_i>0\\ p_{i,i-1}(h)={\mu }_{i}h+o(h),{\mu }_i>0\\ p_{i,i}(h)=1-\left({\lambda }_i+{\mu }_i\right)h+o(h)\\ p_{i,j}(h)=o(h),|i-j|\ge 2,\end{array}$$
   则称 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0}为生灭过程，${\lambda }_i$为出生率，${\mu }_i$为死亡率。若${\lambda }_i=i\lambda ,{\mu }_i=i\mu$,则称 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0}为线性生灭过程。若${\mu }_i=0$,则称 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0} 为纯生过程，若${\lambda }_i=0$, 则称 { X ( t ) , t ≥ \{X(t), t \geq {X(t),t≥ $0\}$为纯灭过程。

10. 生灭过程的平稳分布：${\pi }_0={\left(1+{\sum }_{j=1}^{\infty }\frac{{\lambda }_0{\lambda }_1\cdots {\lambda }_{j-1}}{{\mu }_1{\mu }_2\cdots {\mu }_j}\right)}^{-1}$，${\pi }_j=\frac{{\lambda }_0{\lambda }_1\cdots {\lambda }_{j-1}}{{\mu }_1{\mu }_2\cdots {\mu }_j}{\pi }_0,j\ge 1$。平稳分布存在的充要条件 ${\sum }_{j=1}^{\infty }\frac{{\lambda }_0{\lambda }_1\cdots {\lambda }_{j-1}}{{\mu }_1{\mu }_2\cdots {\mu }_j}<\infty$

    证明：与前一章节例题6方法类似。

例题

1. (重要) $\pi Q=0\Rightarrow \left({\pi }_1,{\pi }_2\right)\left(\begin{array}{cc}-\lambda & \lambda \\ \mu & -\mu \end{array}\right)=0\Rightarrow {\pi }_1=\frac{\mu }{\lambda +\mu },{\pi }_2=\frac{\lambda }{\lambda +\mu }$

2. 一质点在$1,2,3$点上做随机游动，若在时刻$t$质点位于这三个点之一,则在$[t,t+h)$内，它以概率$\frac{1}{2}h+o(h)$分别转移到其他二点之一，试求质点随机游动的柯尔莫哥洛夫方程及平稳分布。

   解：对于 i ∈ { 1 , 2 , 3 } i\in \{1,2,3\} i∈{1,2,3}，$h$时间内的状态转移概率为$p_{i,i-1}(h)=p_{i,i+1}(h)=\frac{1}{2}h+o(h)$。由知识点5得，$q_{ii}={\lim }_{h\to 0}\frac{1-p_{ii}(h)}{h}={\lim }_{h\to 0}\frac{p_{i,i-1}(h)+p_{i,i+1}(h)}{h}={\lim }_{h\to 0}\frac{h+o(h)}{h}=1$，$q_{i,i-1}={\lim }_{h\to 0}\frac{p_{i,i-1}(h)}{h}=\frac{1}{2}$, $q_{i,i+1}=\frac{1}{2}$。因此$\mathbf{Q}=\left[\begin{array}{ccc}-1& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{2}& -1& \frac{1}{2}\\ \frac{1}{2}& \frac{1}{2}& -1\end{array}\right]$
   柯尔莫哥洛夫向前方程为$p_{ij}^{\prime }(t)=-p_{ij}(t)+\frac{1}{2}{p}_{i,j-1}(t)+\frac{1}{2}{p}_{i,j+1}(t)$。
   设平稳分布$\pi =({\pi }_1,{\pi }_2,{\pi }_3)$，根据$({\pi }_1,{\pi }_2,{\pi }_3)\cdot \mathbf{Q}=0$与${\pi }_1+{\pi }_2+{\pi }_3=1$，解得平稳分布$\pi =(\frac{1}{3},\frac{1}{3},\frac{1}{3})$。

3. (简单排队问题) 设有一服务台,在$[0,t)$内到达服务台的顾客数是服从泊松分布的随机变量，即顾客流是泊松过程。单位时间到达服务台的平均人数为$\lambda$，服务台只有一个服务员，对顾客的服务时间是按指数分布的随机变量,平均服务时间为$1/\mu .$。如果服务台空闲时到达的顾客立即接受服务；如果顾客到达时服务员正在为另一顾客服务,则他必须排队等候；如果顾客到达时发现已经有二人在等候,则他就离开而不再回来。设$X(t)$代表在$t$时刻系统内的顾客人数(包括正在被服务的顾客和排队等候的顾客)，该人数就是系统所处的状态。于是这个系统的状态空间为 I = { 0 , 1 , 2 , I=\{0,1,2, I={0,1,2,, $3\}$；又设在$t=0$时系统处于状态0，即服务员空闲着。求过程的$Q$矩阵及$t$时刻系统处于状态$j$的绝对概率$p_j(t)$所满足的微分方程。
   解：由题意知 { X ( t ) , t ≥ 0 } \{X(t), t \geq 0\} {X(t),t≥0}是时间连续的马尔可夫链，其状态空间 I = { 0 , 1 , 2 , 3 I=\{0,1,2,3 I={0,1,2,3 }。解得
   $$Q=\left[\begin{array}{cccc}-\lambda & \lambda & 0& 0\\ \mu & -(\lambda +\mu )& \lambda & 0\\ 0& \mu & -(\lambda +\mu )& \lambda \\ 0& 0& \mu & -\mu \end{array}\right].$$
   由知识点5得知，绝对概率 $p_j(t)$ 满足柯尔莫哥洛夫向前方程$\{\begin{array}{l}{p}_0^{\prime }(t)=-\lambda p_0(t)+\mu p_1(t),\\ p_1^{\prime }(t)=\lambda p_0(t)-(\lambda +\mu )p_1(t)+\mu p_2(t)\\ p_2^{\prime }(t)=\lambda p_1(t)-(\lambda +\mu )p_2(t)+\mu p_3(t)\\ p_3^{\prime }(t)=\lambda p_2(t)-\mu p_3(t)\end{array}$
   初始正则性条件 $p_0(0)=1,p_j(0)=0,j=1,2,3$

4. $\mathrm{M}/\mathrm{M}/\mathrm{s}$ 排队系统。假设顾客按照参数为 $\lambda$的泊松过程来到一个有$s$个服务员的服务站。每一个顾客一来到，如果有服务员空闲，则直接进行服务，否则加入排队行列。当一个服务员结束对一位顾客的服务时，此顾客就离开服务系统，排队中的下一个顾客进入服务。假定相继的服务时间是独立的均值为$1/\mu$的指数随 机变量。若以$X(t)$表示时刻$t$系统中的人数，则 { X ( t ) } \{X(t)\} {X(t)}是生灭过程。

   注:令$M^{(1)}(t)$表示在$t$时间之前来到的总顾客数，则$M^{(1)}(t)$是参数为$\lambda$的泊松过程，是马尔可夫链;令$M^{(2)}(t)$表示在$t$时间之前每个服务员服务的总顾客数，则$M^{(2)}(t)$是参数为$\mu$的泊松过程，是马尔可夫链。

   解：$\begin{array}{rl}{\lambda }_n& =q_{n,n+1}=\underset{h\to }{\lim }\frac{p_{n,n+1}(h)}{h}\\ & =\underset{h\to }{\lim }\frac{P(h\text{时间内到来一名顾客，同时没有顾客离开})}{h}\\ & =\underset{h\to }{\lim }\frac{(\lambda h+o(h))(1-\mu h+o(h))}{h}=\lambda .\end{array}$
   当$n\le s$时,
   $\begin{array}{rl}{\mu }_n& =q_{n,n-1}=\underset{h\to }{\lim }\frac{p_{n,n-1}(h)}{h}\\ & =\underset{h\to }{\lim }\frac{P(h\text{时间内离开一名顾客，同时没有顾客到来})}{h}\\ & =\underset{h\to }{\lim }\frac{n(\mu h+o(h))(1-\lambda h+o(h))}{h}=n\mu .\end{array}$。
   当$n>s$时,
   $\begin{array}{rl}{\mu }_n& =q_{n,n-1}=\underset{h\to }{\lim }\frac{p_{n,n-1}(h)}{h}\\ & =\underset{h\to }{\lim }\frac{P(h\text{时间内离开一名顾客，同时没有顾客到来})}{h}\\ & =\underset{h\to }{\lim }\frac{s(\mu h+o(h))(1-\lambda h+o(h))}{h}=s\mu .\end{array}$
   因此，
   $$\begin{array}{c}{\mu }_n=\{\begin{array}{ll}n\mu ,& 1\le n\le s\\ s\mu ,& n>s\end{array}\\ {\lambda }_n=\lambda ,n\ge 0\end{array}$$
   若$s=1$，则${\lambda }_n=\lambda ,{\mu }_n=\mu$。若$\lambda /\mu <1$, 则平稳分布存在${\pi }_n=(\lambda /\mu {)}^n{\left(1+{\sum }_n(\lambda /\mu {)}^n\right)}^{-1}=(\lambda /\mu {)}^n(1-\lambda /\mu ),n\ge 0$直观表述。

5. （传染模型）考虑有$m$个个体的群体，在时刻$0$由一个已感染的个体与$m-1$个未受到感染的个体组成。假设在长为$h$的时间区间内任意一个已感染的人将以概率$ah+o(h)$引起任一指定的未感染者成为感染者。若以$X(t)$记时刻$t$群体中已受感染的个体数, 则 { X ( t ) } \{X(t)\} {X(t)}是个纯生过程，
   $$\begin{array}{c}{\lambda }_n=(m-n)na,n=1,2,\cdots ,m-1,\\ {\lambda }_n=0,n\ge m\end{array}$$
   记$T_i$为从第$i$个感染者到$i+1$感染者的时间，$T$为直至整个群体被感染的时间。则 $T_i$是相互独立的指数随机变量，参数为${\lambda }_i=(m-i)ia$, 且$T={\sum }_{i=1}^{m-1}{T}_i$。

   因此$ET={\sum }_{i=1}^{m-1}\frac{1}{ai(m-i)}$，$DT={\sum }_{i=1}^{m-1}D{T}_i={\sum }_{i=1}^{m-1}\frac{1}{(ai(m-i){)}^2}$。

6. （机器维修）设有$m$台机床，$s(s<m)$个维修工人。假定在$h$时间内，每台机床从工作转移到损坏的概率为$\lambda h+o(h)$,每台从修理转移到工作的概率为$\mu h+o(h)$用$X(t)$表示时刻$t$损坏的机床数，则 { X ( t ) , t = 0 , 1 , ⋯   , m } \{X(t), t=0,1, \cdots, m\} {X(t),t=0,1,⋯,m}是连续时间马尔可夫链。于是
   $$\begin{array}{c}{p}_{i,i+1}(h)=(m-i)\lambda h+o(h),i=0,1,\cdots ,m-1,\\ p_{i,i-1}(h)=i\mu h+o(h),1\le i\le s\\ p_{i,i-1}(h)=s\mu h+o(h),s<i\le m\end{array}$$
   这是一个生灭过程，其中
   $${\lambda }_i=(m-i)\lambda ,i=0,1,\cdots ,m-1$$

$$\begin{array}{rlr}{\mu }_i& =i\mu ,& 1\le i\le s\\ {\mu }_i& =s\mu ,& s<i\le m\end{array}$$
由于状态空间有限，平稳分布存在。平均不工作的机床台数为 ${\sum }_{j=1}^{m}j{\pi }_j$。

(易错点) 一定要分清楚排队问题与机器维修问题的区别和联系。区别主要体现在出生率对应的单位：对于排队问题来讲，出生率都可以用一个参数为$\lambda$的泊松过程来刻画；而对于维修问题，通常每一个机器的损坏概率都有独立的$\lambda$，因此出生率通常与现存机器的个数相关。联系主要体现在两种问题的死亡率都与目前现有的服务/维修人员数量相关，若人员有限，则需要分情况讨论。

7. 一条电路供$m$个焊工用电,每个焊工均是间断用电. 现作如下假设: ① 若一焊工在$t$时用电,而在$(t,t+\Delta t)$内停止用电的概率为$\mu \Delta t+o(\Delta t)$; ② 若一焊工在$t$时没有用电, 而在$(t,t+\Delta t)$内用电的概率为$\lambda \Delta t+o(\Delta t)$。每个焊工的工作情况是相互独立的，设$X(t)$表示在$t$时正在用电的焊工数。求：(1) 该过程的状态空间和$Q$矩阵; (2) 设$X(0)=0$, 求绝对概率$p_j(t)$满足的微分方程; (3) 当$t\to \infty$时,求极限分布$p_j$。
   解：由题意知该过程是生灭过程，状态空间 I = { 0 , 1 , ⋯   , m } I=\{0,1,\cdots,m\} I={0,1,⋯,m}。

   

---

平稳随机过程

知识点

• (广义)平稳过程的定义：$m_X(t)\equiv c,R_X(t,t-\tau )=R_X(\tau )$。对于广义平稳过程 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T}，若$T$为离散集，则称平稳过程为平稳序列。

• 设 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T}和 { Y ( t ) , t ∈ T } \{Y(t), t \in T\} {Y(t),t∈T}是两个平稳过程,若他们的互相关函数$E[X(t)\overline{Y(t-\tau )}]$和$E[Y(t)\overline{X(t-\tau )}]$仅与$\tau$ 有关，而与$t$无关，则称$X(t)$和$Y(t)$是联合平稳随机过程。
  $$\begin{array}{rl}{R}_{XY}(t,t-\tau )& =E[X(t)\overline{Y(t-\tau )}]=R_{XY}(\tau ),\\ R_{YX}(t,t-\tau )& =E[Y(t)\overline{X(t-\tau )}]=R_{YX}(\tau ),\end{array}$$
  当$X(t)$和$Y(t)$是联合平稳随机过程，则$W(t)=X(t)+Y(t)$是平稳过程。
  $$\begin{array}{l}E[W(t)\overline{W(t-\tau )}]=E[(X(t)+Y(t))(\overline{X(t-\tau )+Y(t-\tau )})]\\ =E[X(t)\overline{X(t-\tau )}+Y(t)\overline{Y(t-\tau )}+X(t)\overline{Y(t-\tau )}+Y(t)\overline{X(t-\tau )}]\\ =R_X(\tau )+R_Y(\tau )+E[X(t)\overline{Y(t-\tau )}]+E[Y(t)\overline{X(t-\tau )}]\\ =R_X(\tau )+R_Y(\tau )+R_{XY}(\tau )+R_{YX}(\tau )\end{array}$$

• 设 { X ( t ) : t ∈ T } \{X(t): t \in T\} {X(t):t∈T}为平稳过程，则其相关函数具有下列性质:
  (1) $R_X(0)\ge 0$;
  (2) $\overline{R_X(\tau )}=R_X(-\tau )$;
  (3) $\left|R_X(\tau )\right|\le R_X(0)$;
  (4) $R_X(\tau )$是非负定的，即${\sum }_{i,j=1}^n{R}_X\left(t_i,t_j\right)a_i\overline{a_j}\ge 0$;
  (5) 若$X(t)$是周期为$T$的周期函数，即$X(t)=X(t+T)$, 则$R_X(\tau )=R_X(\tau +T)$;
  (6) 若$X(t)$是不含周期分量的非周期过程，当$|\tau |\to \infty$时，$X(t)$与$X(t+\tau )$相互独立，则${\lim }_{|\tau |\to \infty }{R}_X(\tau )=m_X{\bar{m}}_X$。

  类似的，联合平稳过程$X(t)$和$Y(t)$有下列性质：
  (1) ${\left|R_{XY}(\tau )\right|}^2\le R_X(0)R_Y(0),{\left|R_{YX}(\tau )\right|}^2\le R_X(0)R_Y(0)$
  (2) $R_{XY}(-\tau )=\overline{R_{YX}(\tau )}$

• 设$X_n,X$均为二阶矩随机变量，如果${\lim }_{n\to \infty }E{\left|X_n-X\right|}^2=0$，则称随机序列$X_n$均方收敛到$X$.记作：$l.i.m.X_n=X$。

• 设有二阶矩过程 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T},若对每一个$t\in T$，有${\lim }_{h\to 0}E\left[|X(t+h)-X(t){|}^2\right]=0$，则称$X(t)$在$t$点均方连续，记作 $l.i.m_{h\to 0}X(t+h)=X(t)$. 若对$T$中一切点都均方连续，则称$X(t)$在$T$上均方连续。

• 大数定律表明只要观测时间足够长，则随机过程的每个样本函数都能够“遍历”各种可能状态。随机过程的这种特性称作遍历性或各态历经性。设 { X ( t ) , t ∈ R } \{X(t), t \in R\} {X(t),t∈R}为均方连续的平稳过程，则分别称
  $$\begin{array}{c}<X(t)>=l.i.m_{T\to \infty }\frac{1}{2T}{\int }_{-T}^{T}X(t)dt\\ <X(t)\overline{X(t-\tau )}>={l.i.m}_{T\to \infty }\frac{1}{2T}{\int }_{-T}^{T}X(t)\overline{X(t-\tau )}dt\end{array}$$
  为该过程的时间均值和时间相关函数。若$<X(t)>=E[X(t)]$以概率$1$成立，则称该平稳过程的均值具有各态历经性。若$<X(t)\overline{X(t-\tau )}>=R_X(\tau )$以概率$1$成立，则称该平稳过程的相关函数具有各态历经性。若以上两个条件都满足，则称平稳过程为具有各态历经性。

  引入这一理论就可以使用任意一个样本函数$x(t)$的时间平均来代替平稳过程的统计平均，即：$<X(t)>=l.i.m_{T\to \infty }\frac{1}{T}{\int }_0^{T}x(t)dt$。实际计算中，一般不可能给出$x(t)$的精确表达式，通常采用进一步限制$x(t)$的时间范围$T$来有效地使用模拟方法或数字方法进行估计。

• 设 { X ( t ) , t ∈ R } \{X(t), t \in R\} {X(t),t∈R}为均方连续的平稳过程，则它的均值具有各态历经性的充要条件为${\lim }_{T\to \infty }\frac{1}{2T}{\int }_{-2T}^{2T}\left(1-\frac{|\tau |}{2T}\right)\left[R_X(\tau )-{\left|m_X\right|}^2\right]d\tau =0$

  在实际应用中，只考虑均方连续的平稳过程 { X ( t ) , 0 ≤ t < ∞ } \{X(t), 0 \leq t<\infty\} {X(t),0≤t<∞}, 因此上述定理可写为: $l.i.m_{T\to \infty }\frac{1}{T}{\int }_0^{T}X(t)d=m_X$以概率$1$成立的充要条件为${\lim }_{T\to \infty }\frac{1}{2T}{\int }_{-T}^T\left(1-\frac{|\tau |}{T}\right)B_X(\tau )d\tau =0$.

• 设 { X ( t ) , t ∈ R } \{X(t), t \in R\} {X(t),t∈R} 为均方连续的平稳过程，则它的相关函数具有各态历经性的充要条件为
  $$\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-2T}^{2T}\left(1-\frac{\left|{\tau }_1\right|}{2T}\right)\left[B\left({\tau }_1\right)-{\left|R_X\left({\tau }_1\right)\right|}^2\right]d{\tau }_1=0$$
  其中$B\left({\tau }_1\right)=E[X(t)\overline{X(t-\tau )}\overline{X\left(t-{\tau }_1\right)\overline{X\left(t-\tau -{\tau }_1\right)}]}$（不好算）

  在实际应用中，只考虑均方连续的平稳过程 { X ( t ) , 0 ≤ t < ∞ } \{X(t), 0 \leq t<\infty\} {X(t),0≤t<∞}, 因此上述定理可写为：$l.i.m_{T\to \infty }\frac{1}{T}{\int }_0^{T}X(t)\overline{X(t-\tau )}dt=R_X(\tau )$以概率$1$成立的充要条件为${\lim }_{T\to \infty }\frac{1}{2T}{\int }_{-T}^T\left(1-\frac{|{\tau }_1|}{T}\right)\left[B\left({\tau }_1\right)-{\left|R_X(\tau )\right|}^2\right]d{\tau }_1=0$。

例题

1. 设 { X n } \left\{X_{n}\right\} {Xn​}是实的互不相关随机变量序列，且$E{X}_n=0$，$D\left(X_n\right)={\sigma }^2$，试讨论随机序列的平稳性。
   解：$R_X(n,n-\tau )=E\left[X_n{X}_{n-\tau }\right]=\{\begin{array}{ll}{\sigma }^2,& \tau =0\\ 0,& \tau \ne 0\end{array}$，仅与$\tau$有关，因此是平稳随机序列。

   在工程技术中，以上随机序列被称为白噪声，是一种较简单的随机干扰模型。

2. 设 { Z n } \left\{Z_{n}\right\} {Zn​}为复随机序列，且$E{Z}_n=0$, $E\left[Z_n{\bar{Z}}_m\right]={\sigma }_n^2{\delta }_{nm}$, ${\sum }_n{\sigma }_n^2<\infty$, ${\omega }_n$为实数列，令$X_t={\sum }_{n=-\infty }^{\infty }{Z}_n{e}^{i{\omega }_{n}t}$。求证： { X ( t ) } \{X(t)\} {X(t)} 是平稳过程。
   解：$EX(t)=0$,
   $R_X(t,t-\tau )=E[X(t)\overline{X(t-\tau )}]=E\left[{\sum }_{n=-\infty }^{\infty }{Z}_n{e}^{i{\omega }_{n}t}\overline{{\sum }_{m=-\infty }^{\infty }{Z}_m{e}^{i{\omega }_m(t-\tau )}}\right]={\sum }_{n=-\infty }^{\infty }{\sigma }_n^2{e}^{i{\omega }_n\tau }$

3. 设有随机过程$X(t)$和$Y(t)$都不是平稳的,且$X(t)=A(t)\cos t,Y(t)=B(t)\sin t$,其中$\mathrm{A}(t)$和$B(t)$是均值为零的相互独立的平稳过程,它们有相同的相关函数.求证：$Z(t)=X(t)+Y(t)$是平稳过程。
   解：(1) $E[Z(t)]=E[X(t)+Y(t)]=E[A(t)\cos t]+E[B(t)\sin t]=0$
   (2) $$\begin{array}{rl}{R}_Z(t+\tau ,t)& =E[(X(t+\tau )+Y(t+\tau ))\overline{(X(t)+Y(t))}]\\ & =R_X(t+\tau ,t)+R_Y(t+\tau ,t)+R_{XY}(t+\tau ,t)+R_{YZ}(t+\tau ,t)\\ & =R_A(\tau )\cos (t+\tau )\cos t+R_B(\tau )\sin (t+\tau )\sin t+0+0\\ & =R_A(\tau )\cos \tau ,\text{ 只与 }\tau \text{ 有关. }\end{array}$$
   (3) $E|Z(t){|}^2=R_Z(0)=R_A(0)<\infty$
   由(1)、(2)、(3)知 { Z ( t ) } \{Z(t)\} {Z(t)}是平稳过程。

4. 设随机过程 { N ( t ) , t ≥ 0 } \{N(t), t \geq 0\} {N(t),t≥0}是具有参数为$\lambda$的泊松过程，若随机点在 $[0,t]$内出现偶数次，则$X(t)=1$;若出现奇数次，则 $X(t)=-1$.
   (1) 讨论随机过程$X(t)$的平稳性; (2) 设随机变量$V$具有概率分布$P(V=1)=P(V=-1)=\frac{1}{2}$且$V$与$X(t)$独立, 令$Y(t)=VX(t)$, 试讨论随机过程$Y(t)$的平稳性。

   解：(1) $P(X(t)=1)={\sum }_{k=0}^{\infty }P(N(t)=2k)=e^{-\lambda t}\cosh (\lambda t)$

   $P(X(t)=-1)={\sum }_{k=0}^{\infty }P(N(t)=2k+1)=e^{-\lambda t}\sinh (\lambda t)$

   于是，$EX(t)=1\cdot e^{-\lambda t}\cosh (\lambda t)-e^{-\lambda t}\sinh (\lambda t)=e^{-2\lambda t}$。$EX(t)$与$t$有关，不平稳。

   (2) $EY(t)=E[VX(t)]=EVEX(t)=0$，$R_Y(t,t-\tau )=E\left[V^2\right]E[X(t)X(t-\tau )]=e^{-2\lambda |\tau |}$。所以， { Y t } \left\{Y_{t}\right\} {Yt​}平稳。

5. 设$X_n$相互独立且都服从正态分布$N(0,1)$的随机变量序列，$Y_n$是相互独立且都服从$(-\sqrt{3},\sqrt{3})$上均匀分布的随机变量序列， { X n } \left\{X_{n}\right\} {Xn​}与 { Y n } \left\{Y_{n}\right\} {Yn​}相互独立。令$Z_n=\{\begin{array}{ll}{X}_n,& n\text{ 为奇数 }\\ Y_n,& n\text{ 为偶数 }\end{array}$。
   证明： { Z n } \left\{Z_{n}\right\} {Zn​}是宽平稳过程，但不是严平稳过程。
   解：$E{X}_n=E{Y}_n=0,D{X}_n=D{Y}_n=1,E{Z}_n=0$,
   $R(m,n)=E\left[Z_m{Z}_n\right]=\{\begin{array}{ll}1,& m=n\\ 0,& m\ne n\end{array}$， $E\left[{\left|Z_n\right|}^2\right]=1<\infty$
   故 { Z n , n ≥ 1 } \left\{Z_{n}, n \geq 1\right\} {Zn​,n≥1}为宽平稳过程。显然,$Z_n$的一维分布与$n$取奇数或偶数时有关,故不是严平稳过程。

6. 设$X(t)=A\sin (\omega t+\Theta ),Y(t)=B\sin (\omega t+\Theta -\varphi )$ 为两个平稳过程，$\Theta$在$(0,2\pi )$上服从均匀分布。求$R_{XY}(\tau )$和$R_{YX}(\tau ).$
   解：
   $\begin{array}{rl}{R}_{XY}(\tau )& =E[X(t)Y(t-\tau )]\\ & =E[A\sin (\omega t+\Theta )B\sin (\omega t-\omega \tau +\Theta -\varphi )]\\ & ={\int }_0^{2\pi }AB\sin (\omega t+\theta )\sin (\omega t-\omega \tau +\theta -\varphi )\frac{1}{2\pi }d\theta \\ & =\frac{1}{2}AB\cos (\omega \tau +\varphi )\end{array}$
   同理可得，$R_{YX}(\tau )=\frac{1}{2}AB\cos (\omega \tau -\varphi )$。

7. 设有随机相位过程$X(t)=a\cos (\omega t+\Theta ),\Theta$为$(0,2\pi )$上服从均匀分布的随机变量。求$X(t)$是否为各态历经过程。
   解：$E[X(t)]={\int }_0^{2\pi }a\cos (\omega t+\theta )\frac{1}{2\pi }d\theta =0$
   $\begin{array}{rl}{R}_X(t,t-\tau )& =E\left[a^2\cos (\omega t+\Theta )\cos (\omega t-\omega \tau +\Theta )\right]\\ & ={\int }_0^{2\pi }\frac{a^2}{2\pi }\cos (\omega t+\theta )\cos (\omega t-\omega \tau +\theta )d\theta \\ & =\frac{a^2}{2}\cos (\omega \tau )=R_X(\tau )\end{array}$
   $\begin{array}{rl}<X(t)>& =l.i.m_{T\to \infty }\frac{1}{2T}{\int }_{-T}^{T}a\cos (\omega t+\Theta )dt\\ & =l.i.m_{T\to \infty }\frac{a}{2T}\frac{\sin (\omega T+\Theta )-\sin (-\omega T+\Theta )}{\omega }=0,\end{array}$
   因为
   $E{\left|\frac{a}{2T}\frac{\sin (\omega T+\Theta )-\sin (-\omega T+\Theta )}{\omega }-0\right|}^2\le \frac{a^2}{T^2{\omega }^2}\to 0,T\to \infty$，
   因此，$<X(t)>=0=E[X(t)]$。
   $$\begin{array}{l}<X(t)\overline{X(t-\tau )}>\\ =l.i.m_{T\to \infty }\frac{1}{2T}{\int }_{-T}^T{a}^2\cos (\omega t+\Theta )\cos (\omega t-\omega \tau +\Theta )dt\\ =l.i.m_{T\to \infty }\frac{a^2}{2T}{\int }_{-T}^T\frac{1}{2}[\cos (\omega \tau )+\cos (2\omega t-\omega \tau +2\Theta )]dt\\ =\frac{a^2}{2}\cos (\omega \tau )+l.i.m_{T\to \infty }\frac{a^2}{2T}{\int }_{-T}^T\frac{1}{2}\cos (2\omega t-\omega \tau +2\Theta )dt\\ =\frac{a^2}{2}\cos (\omega \tau )\end{array}$$
   其中第二个等号使用了三角函数积化和差公式，因此$<X(t)\overline{X(t-\tau )}>=R_X(\tau )$，$X(t)$是各态历经过程。

   高中时背过的和差化积口诀: 帅+帅=帅哥，帅-帅=哥帅，哥+哥=哥哥，哥-哥=负嫂嫂

8. 讨论随机过程 $X(t)=Y$ 的各态历经性，其中$Y$是方差不为零的随机变量。
   解: $E[X(t)]=EY=m_X$（常数）, $R_X(t,t-\tau )=E\left[Y^2\right]$（与$t$无关）,但此过程不具有各态历经性，因为$<X(t)>=l.i.m_{T\to \infty }\frac{1}{2T}{\int }_{-T}^{T}Ydt=Y\ne E[X(t)]$。

9. 设随机过程$X(t)=A\sin (\lambda t)+B\cos (\lambda t)$, 其中$A,B$是均值为零、方差为${\sigma }^2$的相互独立的正态随机变量,$\lambda$为常数,试问：$X(t)$的均值是否各态历经的?
   解：$E[X(t)]=EA\cdot \sin (\lambda t)+EB\cdot \cos (\lambda t)=0$
   $\begin{array}{rl}⟨X(t)⟩& ={l.i.m}_{T\to \infty }\frac{1}{2T}{\int }_{-T}^{T}X(t)\mathrm{d}t\\ & ={l.i.m}_{T\to \infty }\frac{1}{2T}{\int }_{-T}^T[A\sin (\lambda t)+B\cos (\lambda t)]\mathrm{d}t\\ & ={l.i.m}_{T\to \infty }\frac{1}{2T}\times 2{\int }_0^{T}B\cos (\lambda t)\mathrm{d}t={l.i.m}_{T\to \infty }\frac{\sin (\lambda T)}{\lambda T}B\end{array}$
   由于$B\sim N\left(0,{\sigma }^2\right)$, 故
   $$\underset{T\to \infty }{\lim }E{\left|\frac{\sin (\lambda T)}{\lambda T}B-0\right|}^2=\underset{T\to \infty }{\lim }\frac{{\sin }^2(\lambda T)}{{\lambda }^2{T}^2}E{B}^2=\underset{T\to \infty }{\lim }\frac{{\sin }^2(\lambda T)}{{\lambda }^2{T}^2}{\sigma }^2=0$$
   即$\frac{\sin (\lambda T)}{\lambda T}B$均方收敛于0，故$X(t)$的均值是各态历经的.

参考文献

1. 《随机过程(第五版)》 刘次华著
2. 《随机过程及其应用》 陆大金著
3. 《应用随机过程·概率模型导论》 Sheldon M.Ross著，龚光鲁译