随机过程学习笔记——概论

参考教材：陆大jin《随机过程及其应用》

1. 随机过程

1.1 基本概念

随机过程是这样一个过程，它不能用一个时间t的确定性函数表示，它在每个时刻的状态是随机的。

1. 例子1：

• $y=sin(wt+\phi )$,其中$\phi =\pi /2$。显然这是一个确定性过程，这个过程可以用时间t的确定性函数表示。
• $y=sin(wt+\phi )$,其中$\phi$服从$[-\pi ,\pi ]$的均匀分布。显然这是一个随机过程，这个过程不可以用时间t的确定性函数表示，每个时刻$t_i$，$y$的取值是随机的，$y$它又是随时间变化的。这个函数可以有一个现实的意义，比如生产的一批振荡器，他们的初始相位显然是随机的，但是选中一台振荡器后，它的相位就是固定的，也就是说，这个随机过程，如果随着时间t去逐步测量，它得到的总是一条正弦曲线。

2. 例子2：
   某个餐厅，一个时刻到达的人数是随机的，也就是随机变量。如果研究一个上午各个时间的总人数，那么这就是一个随机过程。

1.2 描述随机过程的方法

1. 方法一：固定时间$t$，则随机过程$\xi (t)$在此时刻是随机变量，即：$\xi (t_i)$是随机变量，$t_i$是具体的时刻。
   既然是随机变量，那么每个时刻都可以用分布函数来描述。
   一维分布函数：$F_{t_1}(x_1)=P(\xi (t_1)<x_1)$,这个只能描述某一时刻，随机过程$\xi (t)$的分布。
   n维分布函数：$F_{t_1,t_2,...,t_n}(x_1,x_2,...,x_n)=P(\xi (t_1)<x_1,\xi (t_2)<x_2,...,\xi (t_n)<x_n)$,这个能描述随机过程$\xi (t)$，在不同时刻的相互关系，因此这也被称为一族有限维分布函数。可以看到这一族有限维分布函数不仅描述了某一时刻$\xi (t)$的统计规律，还描述了不同时刻$\xi (t_i)$,$\xi (t_j)$之间的相互关系。

注：

• $\xi (t)$与$\xi (w,t)$的含义相同
• $\xi (t)$在$t=t_k$的具体取值称为，随机过程$\xi (t)$在$t=t_k$的状态，记为$x(t_k)$

2. 方法二：不固定时间，一次特定的实验，随着时间去逐步测量整个过程，因此这将得到一个确定的样本函数，记为${\xi }^{(k)}(t)$，有时为了避免混淆，也用$x_k(t)$表示。在例子1中的随机过程，每个$x_k(t)$都是正弦函数。

2. 随机过程的分类和举例

根据时间的连续与否，每个时刻随机变量取值的连续与否，可以分为4种类型。

1. 离散参数离散型随机过程。参数集（也就是时间）是离散的，固定时间$t_k$，随机变量$\xi (t_k)$也是离散的。
   比如伯努利过程：一个质点每过一秒就会等概率地在数轴上向左移动或者向右移动。

2. 连续参数离散型随机过程。参数集（也就是时间）是连续的，固定时间$t_k$，随机变量$\xi (t_k)$是离散的。
   比如脉冲数字通信系统，传送的信号是脉宽为$T_0$的脉冲信号，但是脉冲的幅度是随机变量。

3. 连续参数连续型随机过程。参数集（也就是时间）是连续的，固定时间$t_k$，随机变量$\xi (t_k)$也是连续的。
   比如正弦波过程（例子1）和晶体管噪声。

4. 离散参数连续型随机过程。参数集（也就是时间）是离散的，固定时间$t_k$，随机变量$\xi (t_k)$也是连续的。
   比如每隔单位时间就对晶体管噪声进行抽样。

3. 随机过程的数字特征

从以上的分析来看，随机过程的概率密度或分布函数族可以完善地描述随机过程的统计特征，但是要确定这两个东西，并加以分析，往往比较困难。为了便于分析，需要引入随机过程的数字特征。

3.1 均值（数学期望）

对于一随机过程$\xi (t)$，其某一时刻$t_1$的取值$\xi (t_1)$是随机变量（这一点要时刻记住，不然下面的公式就会理解不了），对于这个随机变量，可以用概率论中的均值来描述，即：
$${\mu }_{\xi }(t_1)=E(\xi (t_1))$$
对于连续型随机过程，假设其分布函数为$F_{{\xi }_{t_1}}(x)=P(\xi (t_1)\le x)$，概率密度为$f_{{\xi }_{t_1}}(x)$，那么均值：
$${\mu }_{\xi }(t_1)=E(\xi (t_1))={\int }_{-\infty }^{+\infty }x{f}_{{\xi }_{t_1}}(x)dx$$
对于离散型随机过程，假设其分布函数为$F_{{\xi }_{t_1}}(x)=P(\xi (t_1)\le x)$，那么均值：
$$\begin{gathered} {\mu }_{\xi }(t_1)=E(\xi (t_1)) \\ =x_1\ast P(\xi (t_1)=x_1)+x_2\ast P(\xi (t_1)=x_2)+...+x_n\ast P(\xi (t_1)=x_n) \end{gathered}$$

技巧：
有时候并不需要真的去求概率密度为$f_{{\xi }_{t_1}}(x)$才能算均值。
比如：$y=sin(wt+\phi )$,其中$\phi$服从$[-\pi ,\pi ]$的均匀分布，求${\mu }_{\xi }(t_1)$。这个问题就变成了概率论中经典的已知X的分布，且Y=g(X),求E(Y)。所以：
$${\mu }_{\xi }(t_1)={\int }_{-\infty }^{+\infty }x{f}_{{\xi }_{t_1}}(x)dx={\int }_{-\pi }^{\pi }sin(w{t}_1+\phi )\frac{1}{2\pi }d\phi$$
按照上式计算就会简单很多。

3.2 方差（二阶中心矩）

这个方差的定义与概率论中随机变量的方差定义完全一致。
$$\begin{gathered} {\sigma }_{\xi }^2(t_1)=D(\xi (t_1))=E([\xi (t_1)-{\mu }_{\xi }(t_1){]}^2) \\ =E([\xi (t_1)-E(\xi (t_1)){]}^2) \end{gathered}$$

3.3 自相关函数（简称：相关函数）

自相关函数是为了描述两个不同的时刻$t_1,t_2$的随机变量$\xi (t_1),\xi (t_2)$之间的关系，记为$R_{\xi \xi }(t_1,t_2)$，这是一个二阶混合原点矩。注意这两个随机变量并不独立
$$\begin{gathered} R_{\xi \xi }(t_1,t_2)=E(\xi (t_1)\xi (t_2)) \\ =\sum _i\sum _j{x}_i{x}_{j}P(\xi (t_1)=x_i,\xi (t_2)=x_j) \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{x}_1{x}_2{f}_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)d{x}_{1}d{x}_2 \end{gathered}$$
$f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)$是随机变量$\xi (t_1),\xi (t_2)$的联合概率密度。

3.4 自协方差函数（简称：协方差函数）

类似地，可以写出两个变量的二阶混合中心矩，记为$C_{\xi \xi }(t_1,t_2)$
$$\begin{gathered} C_{\xi \xi }(t_1,t_2)=E([\xi (t_1)-{\mu }_{\xi }(t_1)][\xi (t_2)-{\mu }_{\xi }(t_2)]) \\ =\sum _i\sum _j(x_i-{\mu }_{\xi }(t_1))(x_j-{\mu }_{\xi }(t_2))P(\xi (t_1)=x_i,\xi (t_2)=x_j) \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x_1-{\mu }_{\xi }(t_1))(x_2-{\mu }_{\xi }(t_2))f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)d{x}_{1}d{x}_2 \end{gathered}$$
$f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)$是随机变量$\xi (t_1),\xi (t_2)$的联合概率密度。
上式只是定义式，通过化简可以得到：
$$C_{\xi \xi }(t_1,t_2)=R_{\xi \xi }(t_1,t_2)-{\mu }_{\xi }(t_1){\mu }_{\xi }(t_2)$$
当$t_1=t_2$时：
$${\sigma }_{\xi }^2(t_1)=C_{\xi \xi }(t_1,t_1)=R_{\xi \xi }(t_1,t_1)-{\mu }_{\xi }(t_1){\mu }_{\xi }(t_1)$$
这就类似于$D(X)=E(X^2)-(E(X){)}^2$

4. 两个或两个以上随机过程的联合分布和数字特征

注意，这一节考虑的是两个不同的随机过程（注意和一个随机过程的两次不同的实现是有区别的）