随机过程考点速记

1. 预备知识

条件期望与方差的计算

相关系数

B X Y = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } B_{XY} = E\{[X- E(X)] [Y- E(Y)]\} BXY​=E{[X−E(X)][Y−E(Y)]}

n维正态分布的概率密度

f ( x 1 , x 2 , . . . , x n ) = ( 2 π ) − 1 2 ∣ C ∣ − 1 2 e x p { − 1 2 ( x − μ ) T C − 1 ( x − μ ) } f(x_1, x_2,...,x_n) = (2 \pi )^{-\frac{1}{2} } \left | C \right | ^{-\frac{1}{2} } exp\{-\frac{1}{2}(x-\mu )^TC^{-1}(x-\mu ) \} f(x1​,x2​,...,xn​)=(2π)−21​∣C∣−21​exp{−21​(x−μ)TC−1(x−μ)}
$$\begin{gathered} 各参数的含义如下: \\ C=(c_{ij}{)}_{n\ast n},c_{ij}=Cov(X_i,X_j) \\ \mu =({\mu }_1,{\mu }_2,....,{\mu }_n{)}^T \end{gathered}$$

2 基本概念

习题1. 求随机过程X(t)的概率密度

$$\begin{gathered} 设随机变量Y具有概率密度f(y),令: \\ X(t)=e^{Yt},t>0,Y>0 \\ 求随机过程X(t)的一维概率密度及EX(t),Rx(t_1,t_2) \end{gathered}$$
$$\begin{gathered} (1)f_t(x)=f(y)|y^{{}^{\prime }}(x)|=f(y)/|x^{{}^{\prime }}(y)|=f(-\frac{lnx}{t})/(tx) \\ (2)X(t)的均值函数和相关函数分别为: \\ EX(t)=E(e^{Yt})={\int }_0^{\infty }f(y)e^{-yt}dy \\ Rx(t_1,t_2)=E[X(t_1)X(t_2)]={\int }_0^{\infty }f(y)e^{-y(t_1+t_2)}dy \end{gathered}$$

习题2. 讨论随机过程的平稳性

1. 如果随机过程 $m_x(t)$ = 常数
2. $R_x(s,t)=E[X(s)X(t)]=R_x(s-t)$, 只和(s-t)有关
3. {X(t)}是二阶矩过程
   由此可以推断出X(t) 是广义平稳过程
   $$\begin{gathered} 设随机过程 \\ X(t)=Ycos(\theta t)+Zsin(\theta t) \\ Y,Z服从标准正态分布,所以 \\ {m}_X(t)=0,R(s,t)={\delta }^{2}cons[(t-s)\theta ] \end{gathered}$$
   由此可以证明是广义的平稳过程

习题3 维纳过程及其相关函数

习题4 维纳过程的有限维密度函数

3. 泊松过程

泊松过程的数字特征

$$\begin{gathered} m_x(t)=E[X(t)]=\lambda t \\ {R}_x(s,t)=\lambda s(\lambda t+1) \\ {B}_x(s,t)=\lambda min(s,t) \\ 特征函数为:g_X(u)=E[e^{iuX(t)}]=e^{\lambda t(e^{iu-1})} \end{gathered}$$

爱尔兰分布

$$f_{s_n}(t)=\{\begin{array}{lr}\lambda e^{-\lambda t}\frac{(\lambda t{)}^{n-1}}{(n-1)!},& t\ge 0\\ 0,& t<0\end{array}$$
推导过程如下:
证 因 S n 是 事 件 A 第 n 次 出 现 的 时 刻 , 故 { S n ≤ t } = { N ( t ) ≥ n } = { ( 0 , t ) 内 A 至 少 出 现 n 次 } F S n ( t ) = P { S n ≤ t } = ∑ k = n ∞ ( λ t ) k k ! e − λ t , t ≥ 0 f S n ( t ) = F S n ′ ( t ) = ∑ k = n ∞ λ ( λ t ) k − 1 ( k − 1 ) ! e − λ t − ∑ k = n ∞ λ ( λ t ) k k ! e − λ t , = λ e − λ t ( λ t ) n − 1 ( n − 1 ) ! , t ≥ 0. 证 因 S_{n} 是事件 A 第 n 次出现的时刻, 故 \left\{S_{n} \leq t\right\}=\{N(t) \geq n\}=\{(0, t) 内 A 至少出现 n 次 \} \\ \begin{aligned} F_{S_{n}}(t) &=P\left\{S_{n} \leq t\right\}=\sum_{k=n}^{\infty} \frac{(\lambda t)^{k}}{k !} e^{-\lambda t}, t \geq 0 \\ f_{S_{n}}(t) &=F_{S_{n}}^{\prime}(t)=\sum_{k=n}^{\infty} \frac{\lambda(\lambda t)^{k-1}}{(k-1) !} e^{-\lambda t}-\sum_{k=n}^{\infty} \lambda \frac{(\lambda t)^{k}}{k !} e^{-\lambda t}, \\ &=\lambda e^{-\lambda t} \frac{(\lambda t)^{n-1}}{(n-1) !}, \quad t \geq 0 . \end{aligned} 证因Sn​是事件A第n次出现的时刻,故{Sn​≤t}={N(t)≥n}={(0,t)内A至少出现n次}FSn​​(t)fSn​​(t)​=P{Sn​≤t}=k=n∑∞​k!(λt)k​e−λt,t≥0=FSn​′​(t)=k=n∑∞​(k−1)!λ(λt)k−1​e−λt−k=n∑∞​λk!(λt)k​e−λt,=λe−λt(n−1)!(λt)n−1​,t≥0.​

到达时间的条件分布

P { X 1 < = s ∣ N ( t ) = 1 } = s t 证 明 如 下 : P { X 1 ≤ s ∣ N ( t ) = 1 } = P { X 1 ≤ s , N ( t ) = 1 } P { N ( t ) = 1 } = P { N ( s ) = 1 , N ( t ) − N ( s ) = 0 } P { N ( t ) = 1 } = ( λ s ) e − λ s ⋅ e − λ ( t − s ) ( λ t ) e − λ t = s t P\{ X_1 <= s | N(t) = 1\}= \frac {s}{t} \\ 证明如下: \\ \begin{aligned} & P\left\{X_{1} \leq s \mid N(t)=1\right\}=\frac{P\left\{X_{1} \leq s, N(t)=1\right\}}{P\{N(t)=1\}} \\ =& \frac{P\{N(s)=1, N(t)-N(s)=0\}}{P\{N(t)=1\}} \\ =& \frac{(\lambda s) e^{-\lambda s} \cdot e^{-\lambda(t-s)}}{(\lambda t) e^{-\lambda t}}=\frac{s}{t} \end{aligned} P{X1​<=s∣N(t)=1}=ts​证明如下:==​P{X1​≤s∣N(t)=1}=P{N(t)=1}P{X1​≤s,N(t)=1}​P{N(t)=1}P{N(s)=1,N(t)−N(s)=0}​(λt)e−λt(λs)e−λs⋅e−λ(t−s)​=ts​​

顺序统计量的概率密度

习题1. 独立变量的顺序统计量

习题2. (非必要)

习题3. 电话呼叫问题

非时齐的的泊松过程计算

证明泊松过程是一个时间连续的马氏链

想要证明此命题, 首先需要的是证明 泊松过程的马氏性, 然后需要证明他的齐次性

证明泊松过程

4. 离散的马尔科夫链

齐次马氏链

5. 连续时间的马尔可夫过程

例题1.M/M/1 排队系统

$$在此排队系统中{\mu }_k=\mu ,{\lambda }_k=\lambda$$
∞ μ p i , i + 1 ( h ) = λ h + o ( h ) , p i , i − 1 ( h ) = μ h + o ( h ) , i = 1 , 2 , ⋯  同理可求得  p i j ( h ) = o ( h ) , ∣ i − j ∣ > 1 p i i ( h ) = 1 − λ i h − μ i h + o ( h ) ,  故  { X ( t ) , t ≥ 0 }  是生灭过程   其中  λ i = λ , i ≥ 0 μ i = μ i ≥ 1 \infty \mu \begin{array}{l} \boldsymbol{p}_{i, i+1}(\boldsymbol{h})=\lambda \boldsymbol{h}+\boldsymbol{o}(\boldsymbol{h}), \\ \boldsymbol{p}_{i, i-1}(\boldsymbol{h})=\mu \boldsymbol{h}+\boldsymbol{o}(\boldsymbol{h}), \boldsymbol{i}=\mathbf{1}, \mathbf{2}, \cdots \quad \text { 同理可求得 } \\ \boldsymbol{p}_{i j}(\boldsymbol{h})=\boldsymbol{o}(\boldsymbol{h}),|\boldsymbol{i}-\boldsymbol{j}|>\mathbf{1} \\ \boldsymbol{p}_{i i}(\boldsymbol{h})=\mathbf{1}-\lambda_{i} \boldsymbol{h}-\mu_{i} \boldsymbol{h}+\boldsymbol{o}(\boldsymbol{h}), \\ \text { 故 }\{\boldsymbol{X}(\boldsymbol{t}), \boldsymbol{t} \geq \mathbf{0}\} \text { 是生灭过程 } \\ \text { 其中 } \quad \lambda_{i}=\lambda, \quad \boldsymbol{i} \geq \mathbf{0} \\ \quad \mu_{i}=\mu \quad \boldsymbol{i} \geq \mathbf{1} \end{array} ∞μpi,i+1​(h)=λh+o(h),pi,i−1​(h)=μh+o(h),i=1,2,⋯ 同理可求得 pij​(h)=o(h),∣i−j∣>1pii​(h)=1−λi​h−μi​h+o(h), 故 {X(t),t≥0} 是生灭过程  其中 λi​=λ,i≥0μi​=μi≥1​
当$\lambda <\mu$时, 才会有平稳分布,并且平稳分布是:
$$\begin{array}{l}{p}_0=1-\frac{\lambda }{\mu }=1-\rho ,\rho =\frac{\lambda }{\mu },\\ p_n={\left(\frac{\lambda }{\mu }\right)}^n\left(1-\frac{\lambda }{\mu }\right)={\rho }^n(1-\rho )\end{array}$$
P_n 服从1-p的几何分布,各个通项公式为:
$$\{\begin{array}{l}{p}_0={\left(1+{\sum }_{j=1}^{\infty }\frac{{\lambda }_0{\lambda }_1\dots {\lambda }_{j-1}}{{\mu }_1{\mu }_2\dots {\mu }_j}\right)}^{-1}\\ p_1=\frac{{\lambda }_0}{{\mu }_1}{p}_0,p_2=\frac{{\lambda }_0{\lambda }_1}{{\mu }_1{\mu }_2}{p}_{0,\cdots }\\ p_k=\frac{{\lambda }_0{\lambda }_1\dots {\lambda }_{k-1}}{{\mu }_1{\mu }_2\dots {\mu }_k}{p}_0\end{array}$$
1. 系统中顾客的平均数为:
$${\mathbf{L}}_s=\sum _{n=0}^{\infty }\mathbf{n}{\mathbf{p}}_n=\sum _{n=1}^{\infty }n{\left(\frac{\lambda }{\mu }\right)}^n\left(1-\frac{\lambda }{\mu }\right)=\frac{\lambda }{\mu -\lambda }$$
2. 排队等候的顾客平均数为:
$$L_Q=\sum _{n=1}^{\infty }(n-1)p_n=\sum _{n=1}^{\infty }n{p}_n-\sum _{n=1}^{\infty }{p}_n=\frac{{\lambda }^2}{\mu (\mu -\lambda )}$$
3. 顾客在系统中所花费的时间的平均数
W s = ∑ n = 0 ∞ E { 顾 客 A 在 系 统 中 花 费 的 时 间 ∣ 系 统 中 有 n 个 顾 客 } p n = ∑ n = 0 ∞ ( n + 1 ) 1 μ p n = 1 μ ∑ n = 0 ∞ n p n + 1 μ ∑ n = 0 ∞ p n = 1 μ − λ W_{s}=\sum_{n=0}^{\infty} E\{ 顾客 A 在系统中花费的时间|系统中有 n 个顾客 \} p_{n} \\ =\sum_{n=0}^{\infty}(n+1) \frac{1}{\mu} p_{n}=\frac{1}{\mu} \sum_{n=0}^{\infty} n p_{n}+\frac{1}{\mu} \sum_{n=0}^{\infty} p_{n}=\frac{1}{\mu-\lambda} Ws​=n=0∑∞​E{顾客A在系统中花费的时间∣系统中有n个顾客}pn​=n=0∑∞​(n+1)μ1​pn​=μ1​n=0∑∞​npn​+μ1​n=0∑∞​pn​=μ−λ1​

4. 顾客花在排队等候的时间平均值
W q = ∑ n = 0 ∞ E {  顾客  A  排队等候的时间  ∣  已经有  n  个顾客在系统中  } p n = ∑ n = 0 ∞ n μ p n = 1 μ ∑ n = 0 ∞ n p n = 1 μ λ μ − λ \begin{aligned} W_{q} &=\sum_{n=0}^{\infty} E\{\text { 顾客 } A \text { 排队等候的时间 } \mid \text { 已经有 } n \text { 个顾客在系统中 }\} p_{n} \\ &=\sum_{n=0}^{\infty} \frac{n}{\mu} p_{n}=\frac{1}{\mu} \sum_{n=0}^{\infty} n p_{n}=\frac{1}{\mu} \frac{\lambda}{\mu-\lambda} \end{aligned} Wq​​=n=0∑∞​E{ 顾客 A 排队等候的时间 ∣ 已经有 n 个顾客在系统中 }pn​=n=0∑∞​μn​pn​=μ1​n=0∑∞​npn​=μ1​μ−λλ​​

例题2. Fokker-Planck(福克-普朗克)方程

$$\begin{gathered} \{\begin{array}{l}{p}^{\prime }(t)=-{\lambda }_0{p}_0(t)+{\mu }_1{p}_1(t)\\ p_j^{\prime }(t)={\lambda }_{j-1}{p}_{j-1}(t)-\left({\lambda }_j+{\mu }_j\right)p_j(t)+{\mu }_{j+1}{p}_{j+1}\end{array} \\ {p}_{\text{in }}(0)=\{\begin{array}{ll}1,& n=i\\ 0,& n\ne i\end{array} \end{gathered}$$

例题二: 质点的随机游动

6. 平稳过程的谱密度

什么是平稳过程的谱密度