华北电力大学《随机过程·2020年冬》复习笔记

pdf版本笔记的下载地址: 华北电力大学《随机过程·2020年冬》复习笔记（访问密码：3834）

ch1 预备知识

分布

分布名称	概率密度函数	期望$E$	方差$D$
二项分布	P { k } = C n k   p k ( 1 − p ) n − k n = 1 , 2 , . . . P\{k\}=C_n^k \, p^k (1-p)^{n-k} \qquad n=1,2,... P{k}=Cnk​pk(1−p)n−kn=1,2,...	$E=np$	$D=np(1-p)$
均匀分布	$f(x,a,b)=\{\begin{array}{ll}\frac{1}{b-1},& a\le x\le b\\ 0,& 其他\end{array}$	$E=\frac{a+b}{2}$	$D=\frac{(b-a{)}^2}{12}$
泊松分布	p { k } = e − λ λ k k ! n = 1 , 2 , . . . p\{k\} = e^{-\lambda} \frac{\lambda^k}{k!} \qquad n=1,2,... p{k}=e−λk!λk​n=1,2,...	$E=\lambda$	$D=\lambda$
指数分布	$f(x,\lambda )=\{\begin{array}{ll}\lambda e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}$	$E=\frac{1}{\lambda }$	$D=\frac{1}{{\lambda }^2}$

全概率公式和全期望公式

• 全概率公式:

  $$P(B)=\sum _{k=1}^{n}P\left(B\mid A_k\right)P\left(A_k\right)$$
  推广:

  • $Y$离散时:
    $$P(A)=\sum _{j}P(A|Y=y_j)P(Y=y_j)$$

  • $Y$连续时:
    $$P(A)={\int }_{-\infty }^{+\infty }P(A|Y=y_j)f_Y(y)dy$$

• 全期望公式

  • $Y$离散时:
    $$E(X)=\sum _{j}E(X|y_j)P(Y=y_j)$$

  • $Y$连续时:
    $$E(X)={\int }_{-\infty }^{+\infty }E(X|y)f_Y(y)dy$$

$\Gamma$函数

$\Gamma$函数表达式:
$$\Gamma (\alpha )={\int }_0^{+\infty }{e}^{-x}{x}^{\alpha -1}dx$$
初值:
$$\Gamma (1)=1,\Gamma (\frac{1}{2})=\sqrt{(\pi )}$$
递推关系:
$$\Gamma (n)=(n-1)\Gamma (n-1)=(n-1)!\text{(x的系数的阶乘)}$$

ch2 随机过程的基本概念

§2.3 随机过程的数字特征

给定随机过程 X T = { X ( t ) , t ∈ T } X_T=\{ X(t), t \in T \} XT​={X(t),t∈T},定义数字特征如下:

• 均值函数:
  $$m_x(t)\triangleq E[X(t)]$$

• 自相关函数:
  $$R_X(s,t)\triangleq E[X(s)\cdot X(t)]$$

• 自协方差函数:
  $$B_X(s,t)\triangleq Cov[X(s),X(t)]=R_X(s,t)-m_X(s)m_X(t)$$

• 方差函数:
  $$D_X(t)\triangleq D[X(t)]=E[(X-E(X){)}^2]$$

• 均方差函数:
  $${\sigma }_X(t)=\sqrt{D_X(t)}$$

ch3 泊松过程

§3.1 泊松过程的定义

• 计数过程: 若$N(t)$表示在$(0,t]$内事件A出现的总次数,则称随机过程 { N ( t ) , t ≥ 0 } \{N(t), t \geq 0\} {N(t),t≥0}为计数过程.

• 独立增量过程: 对任意$t_1<t_2\le t_3<t_4\in T$,$X(t_2)-X(t_1)$与$X(t_4)-X(t_3)$相互独立,则称随机过程$X(t)$为独立增量过程.

• 平稳增量过程: 对任意$s,t,h\in T$,$X(t+h)-x(s+h)$与$X(t)-X(s)$具有相同的分布,则称随机过程$X(t)$为平稳增量过程.

• 泊松过程: 称计数过程 { X ( t ) , t ≥ 0 } \{X(t),t \geq 0 \} {X(t),t≥0}是泊松过程,如果$(t)$满足:

  1. $X(0)=0$

  2. $X(t)$是独立增量过程

  3. 在任一长度为$t$的区间中,事件A发生的次数服从参数$\lambda t>0$的泊松分布,即对任意$s,t\ge 0$,有:
     P { X ( t + s ) − X ( s ) = n } = e − λ t ( λ t ) n n ! n = 0 , 1 , 2 , . . . P\{ X(t+s) - X(s) = n \} = e^{- \lambda t} \frac{(\lambda t)^n}{n!} \qquad n=0,1,2,... P{X(t+s)−X(s)=n}=e−λtn!(λt)n​n=0,1,2,...

  由$E[X(t)]=\lambda t$,故$\lambda =\frac{E[X(t)]}{t}$表示过程的强度

§3.2 泊松过程的性质

• 数字特征: 设 { X ( t ) , t ≥ 0 } \{X(t),t \geq 0 \} {X(t),t≥0}是参数为$\lambda$的泊松过程,对任意$t,s\in [0,+\infty ),s<t$,有:
  $$E[X(t)-X(s)]=D[X(t)-X(s)]=\lambda (t-s)$$

  $$m_X(t)=E[X(t)]=E[X(t)-X(0)]=\lambda t$$

  $${\sigma }_X^2(t)=D[X(t)]=D[X(t)-X(0)]=\lambda t$$

  $$R_X(s,t)=E[X(s),X(t)]=\lambda s(\lambda t+1)$$

  $$B_X(s,t)=R_X(s,t)-m_X(s)m_X(t)=\lambda s$$

• 等待(到达)时间$W_n$与时间间隔$T_n$的分布:

  

  $W_n$表示第$n$个事件的等待(到达)时间,$T_n$表示第$n$个事件与第$n-1$个事件出现的时间间隔

  • 时间间隔$T_n$服从参数为$\lambda$的指数分布,其概率分布函数和概率密度函数:
    F T n ( t ) = P { T n ≤ t } = { 1 − e − λ t , t ≥ 0 0 , t < 0 F_{T_{n}}(t)= P\{T_{n} \leq t \}= \left\{\begin{array}{ll} 1-e^{-\lambda t}, & t \geq 0 \\ 0, & t<0 \end{array}\right. FTn​​(t)=P{Tn​≤t}={1−e−λt,0,​t≥0t<0​

    $$f_{T_n}(t)=\{\begin{array}{ll}\lambda e^{-\lambda t},& t\ge 0\\ 0,& t<0\end{array}$$

  • 到达时间$W_n$服从$\Gamma$分布,其概率密度函数:
    $$f_{W_n}(t)=\{\begin{array}{ll}\lambda e^{-\lambda t}\frac{(\lambda t{)}^{n-1}}{(n-1)!},& t\ge 0\\ 0,& t<0\end{array}$$

  • 到达时间分布的推论: 设$T_k$表示强度为$\lambda$的泊松过程第$k$次的到达时间,$L_1$表示强度为$\mu$的泊松过程第1次的到达时间
    P { T k < L 1 } = ( λ λ + μ ) k P\{T_k < L_1\} = (\frac{\lambda}{\lambda + \mu}) ^ k P{Tk​<L1​}=(λ+μλ​)k
    记: 考虑发生一个事件,该事件为事件1的概率为$\frac{\lambda }{\lambda +\mu }$.考虑接下来连续发生的$k$件事,事件 { T k < L 1 } \{T_k < L_1\} {Tk​<L1​}等价于 { 接 下 来 连 续 发 生 的 k 件 事 都 是 事 件 1 } \{接下来连续发生的k件事都是事件1\} {接下来连续发生的k件事都是事件1}.

  • 到达时间的条件分布: 已知$[0,t]$内事件$A$已经发生1次,则这一事件到达时间$W_1$的条件分布密度函数:
    $$f_{W_1}(s|N(t)=1)=\{\begin{array}{ll}\frac{1}{t},& 0<s<t\\ 0,& 其他\end{array}$$

  • 到达时间的条件分布: 已知$[0,t]$内事件$A$已经发生$n$次,则第$k$次事件的发生时间$W_k$的条件概率密度函数:
    $$f_{W_k}(s|N(t)=n)=\{\begin{array}{cc}\frac{n!}{(k-1)!(n-k)!}\frac{s^{k-1}(t-s{)}^{n-k}}{t^n}& 0<s<t\\ 0& 其它\end{array}$$

  • 到达时间的条件联合分布: 已知$[0,t]$内事件$A$已经发生$n$次,则这$n$次到达时间$W_1,W_2,...,W_n$的联合条件分布密度函数:
    $$f_{W_1,W_2,...,W_n}(t_1,t_2,\cdots ,t_n|N(t)=n)=\{\begin{array}{ll}\frac{n!}{t^n},& 0<t_1<\cdots <t_n<t\\ 0,& 其他\end{array}$$

§3.3 非齐次泊松过程

• 定义: 称计数过程 { X ( t ) , t ≥ 0 } \{X(t),t \geq 0 \} {X(t),t≥0}是非齐次泊松过程,如果$(t)$满足:

  1. $X(0)=0$

  2. $X(t)$是独立增量过程

  3. 在任一长度为$t$的区间中,事件A发生的次数服从参数为${\int }_s^{s+t}\lambda (u)du$的泊松分布,即对任意$s,t\ge 0$,有:
     $$X(t+s)-X(s)\sim \pi ({\int }_s^{s+t}\lambda (u)du)$$

  $\lambda (t)$称为速率函数

§3.4 复合泊松过程

• 定义: 设 { N ( t ) , t ≥ 0 } \{N(t),t \geq 0 \} {N(t),t≥0}是泊松过程, { Y k , k = 1 , 2 , . . } \{Y_k,k=1,2,.. \} {Yk​,k=1,2,..}是一系列独立同分布的随机变量,则称
  $$X(t)=\sum _{n=1}^{N(t)}{Y}_n$$
  为复合泊松过程.

• 性质:

  1. { X ( t ) , t ≥ 0 } \{X(t),t \geq 0 \} {X(t),t≥0}是独立增量过程
  2. 若 { N ( t ) , t ≥ 0 } \{N(t),t \geq 0 \} {N(t),t≥0}是齐次泊松过程,则 { X ( t ) , t ≥ 0 } \{X(t),t \geq 0 \} {X(t),t≥0}是平稳增量过程

• 数字特征:

  • $E(X)=E(N)E(Y_1)$
  • $D(X)=E(N)D(Y_1)+D(N)E^2(Y_1)$

  若 { N ( t ) , t ≥ 0 } \{N(t),t \geq 0 \} {N(t),t≥0}是齐次泊松过程,则:

  • $EX(t)=EN(t)E(Y_1)=\lambda tE(Y_1)$
  • $DX(t)=EN(t)E(Y_1^2)=\lambda tE(Y_1^2)$
  • $E(X)=E[E(X|N)]=E[NE(Y_{!})]=E(N)E(Y_1)$

ch4 马尔可夫过程

§4.3 马尔可夫链的状态关系与属性

• 周期性:

  定义 d = G C D { n : p i i ( n ) > 0 , n > 0 } d=GCD\{ n:p_{ii}^{(n)}>0, n>0 \} d=GCD{n:pii(n)​>0,n>0}为状态$i$的周期

  • 若$d>1$,则称状态$i$为周期的
  • 若$d=1$,则称状态$i$为非周期的

• 常返性：

  定义$f_{ij}^{(n)}=P(X_n=j,X_k\ne j,1\le k\le n-1|X_0=i)$为首达概率

  定义$f_{ij}={\sum }_{n=1}^{+\infty }{f}_{ij}^{(n)}$为迟早概率

  • 若$f_{ii}=1$,则称状态$i$为常返的
  • 若$f_{ii}<1$,则称状态$i$为非常返的

  定义$T_i$表示状态$i$的首次返回时间,定义${\mu }_i=E(T_i)={\sum }_{n=1}^{+\infty }n{f}_{ii}^{(n)}$表示常返状态$i$的平均返回时间

  • 若${\mu }_i<\infty$,则称状态$i$为正常返的
  • 若${\mu }_i=\infty$,则称状态$i$为零常返的

• 可达与互通性：

  互通状态的周期和常返性是相同的,但平均返回时间不一定相同.

§4.4 状态空间的分解

• 状态空间的分解

  • 不可约↔两两互通

  • 闭集↔状态出不去

  任一马氏链的状态空间$I$,都可以唯一分解为互不相交的子集$D,C_1,C_2,...$之和,其中:

  1. $D$是所有非常返态的集合
  2. 每一个$C_i$都是不可约的常返闭集

• (常返态的传递性): 若状态$i$常返,$i\to j$,则:

  1. $j$常返
  2. $i\leftrightarrow j$
  3. $f_{ij}=1,f_{ji}$

§4.5 转移概率极限与平稳分布

• 转移概率的极限${\lim }_{n\to \infty }{p}_{ij}^{(n)}$

  • 若$j$为非常返或零常返态,则${\lim }_{n\to \infty }{p}_{ij}^{(n)}=0$
  • 若$j$为正常返,非周期,则${\lim }_{n\to \infty }{p}_{ij}^{(n)}=\frac{f_{ij}}{{\mu }_j}$
  • 若$j$为正常返,周期$d_j>1$时:
    • 若$i\to j$,则${\lim }_{n\to \infty }{p}_{ij}^{(n)}$不存在
    • 若$i$不可达$j$,则${\lim }_{n\to \infty }{p}_{ij}^{(n)}=0$

• 平稳分布$\pi =({\pi }_1,{\pi }_2,...)$满足方程:
  $$\{\begin{array}{l}\pi =\pi P\\ {\sum }_{i\in I}{\pi }_i=1\end{array}$$

• 若马氏链是不可约非周期的,则如下3个命题是等价的:

  • 该链为正常返
  • 该链存在极限分布
  • 该链存在平稳分布

  且当上述分布存在时,极限分布 { 1 μ i , i ∈ I } \{\frac{1}{\mu_i}, i \in I\} {μi​1​,i∈I}就是平稳分布 { π i , i ∈ I } \{\pi_i, i \in I\} {πi​,i∈I}.

pdf版本笔记的下载地址: 华北电力大学《随机过程·2020年冬》复习笔记（访问密码：3834）