随机过程（基本概念、平稳随机过程）

大三上学习了随机过程（实际听不懂就去看了简化版的随机信号），感觉一些概念性的东西比较多，因此这里进行一个简单总结。

(1)随机过程的基本概念

1.对随机过程的理解

• 我感觉所谓的随机过程实际很类似升维之后的随机变量，但是横坐标是确知的时间 $t$。对每一个时间 $t$ 进行切片（降维）都会得到对应的一组随机变量，而针对每一个确定的时间 $t$ 进行观测都会得到一个确知的随机变量的取值，所有的 $t$ 对应的这个取值就会构成一个确定的时间函数（样本函数）。

2.随机过程的概率分布

• 一维分布函数：
  F 1 ( x 1 , t 1 ) = P { X ( t 1 ) ≤ x 1 } F_1(x_1,t_1) = P\{ X(t_1) \le x_1\} F1​(x1​,t1​)=P{X(t1​)≤x1​}
  就像在理解中说的，在这里相当于每给定一个 $t_1$，二维的这样的随机过程就转换成一维的随机变量，所以这样的分布函数和在概率论中学到的分布函数在形式上是完全一样的。
• 一维概率密度：
  $$p_1(x_1,t_1)=\frac{\partial F_1(x_1,t_1)}{\partial x_1}$$
  一般省略脚注写作 $p(x,t)$ 。
• $n$ 维分布函数与概率密度函数
  分布函数： F n ( x 1 , x 2 , ⋯   , x n , t 1 , t 2 , ⋯   , t n ) = P { X ( t 1 ) ≤ x 1 , X ( t 2 ) ≤ x 2 , ⋯ X ( t n ) ≤ x n } F_n(x_1,x_2,\dotsb ,x_n,t_1,t_2,\dotsb,t_n) = P\{ X(t_1) \le x_1,X(t_2) \le x_2, \dotsb X(t_n) \le x_n \} Fn​(x1​,x2​,⋯,xn​,t1​,t2​,⋯,tn​)=P{X(t1​)≤x1​,X(t2​)≤x2​,⋯X(tn​)≤xn​}
  概率密度函数：$$p_n(x_1,x_2,\cdots ,x_n,t_1,t_2,\cdots ,t_n)=\frac{{\partial }^n{F}_n(x_1,x_2,\cdots ,x_n,t_1,t_2,\cdots ,t_n)}{\partial x_1\partial x_1\cdots \partial x_n}$$
  注意这里如果 $X(t_1),X(t_2),\cdots ,X(t_n)$ 统计独立，上面的概率密度函数就可以直接乘开 $$p(x_1,x_2,\cdots ,x_n,t_1,t_2,\cdots ,t_n)=p(x_1,t_1)p(x_2,t_2)\cdots p(x_n,t_n)$$

3.随机过程的矩函数

• 数学期望（统计均值，一阶原点矩）
  $$E[X(t)]={\int }_{-\infty }^{\infty }xp(x,t)dx=m_X(t)$$
  反映的是在 $t$ 给定条件下的样本函数的平均取值。
• 方差 （二阶中心矩）
  D [ X ( t ) ] = E { [ X ( t ) − m X ( t ) ] 2 }    = ∫ − ∞ ∞ ( x − m X ( t ) ) p ( x , t ) d x = σ X 2 ( t ) \begin{matrix} &D[X(t)]=E\{[X(t) - m_X(t)]^2 \}\\ ~~\\ &=\displaystyle\int _{-\infin}^{\infin} (x-m_X(t))p(x,t)dx=\sigma^2_X(t) \end{matrix}   ​D[X(t)]=E{[X(t)−mX​(t)]2}=∫−∞∞​(x−mX​(t))p(x,t)dx=σX2​(t)​
  • 标准差实际上就是方差的平方根，即 ${\sigma }_X(t)$。
  • 反映的是在 $t$ 给定条件下的样本函数和样本函数平均取值之间的偏差。
• 自相关函数（相关函数，二阶混合原点矩）
  $$R_X(t_1,t_2)=E[X(t_1)X(t_2)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_2{p}_2(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2$$
  • 反映过程 $X(t)$ 在任意两时刻的取值之间的平均关联程度。
  • 当 $t_1=t_2=t$ 时，实际上自相关函数就转化成均方值($E[X^2(t)]$)。
• 协方差函数
  $$\begin{array}{cc}& C_X(t_1,t_2)=E[X(t_1)-m_X(t_1)][X(t_2)-m_X(t_2)]\\ & \\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }[x_1-m_X(t_1)][x_2-m_X(t_2)]p_2(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2\end{array}$$
  • 反映过程 $X(t)$ 在任意两时刻的起伏值之间的平均关联程度。
  • 实际上这里感觉类似于有一种对速度的描述，既要从 $v$ 这个角度对速度进行描述，还要从 $a$ 加速度这个角度对速度进行描述，加速度表示的实际上就是速度的起伏变化关系。
  • 当 $t_1=t_2=t$ 时，实际上协方差就化简成了方差。
• 自相关函数和协方差函数之间的关系：
  $$C_X(t_1,t_2)=R_X(t_1,t_2)-m_X(t_1)m_X(t_2)$$

4.随机过程的特征函数

• 特征函数的用途：
  这个实际上有点类似于时域和频域之间的一种转化，时域上困难的问题转换到频域上就变得简单许多了。这里的特征函数可以简化概率密度的求解和随机变量数字特征的求解。还要注意一下，特征函数实际上与概率密度函数构成一组傅里叶变换。
• 一维特征函数的定义：
  $$\{\begin{array}{cc}& {\Phi }_X(\lambda ,t)=E[e^{j\lambda X(t)}]={\int }_{-\infty }^{\infty }{e}^{j\lambda x}p(x,t)dx\\ & p(x,t)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\Phi }_X(\lambda ,t)e^{-j\lambda x}d\lambda \end{array}$$
• 求原点矩（对特征函数两端求 $n$ 阶导）：
  $$E[X^n(t)]={\int }_{-\infty }^{\infty }{x}^{n}p(x,t)dx=j^{-n}[\frac{{\partial }^n}{\partial {\lambda }^n}{\Phi }_X(\lambda ,t){]}_{\lambda =0}$$

(2)平稳随机过程

1.平稳的定义

• 实际上是采用平稳的这个定义想办法将随机过程中的时间这个参量进行了弱化，对于严平稳来说一维特性（一维概率密度、均值、方差）都和时间没有关系，二维特向仅与时间差有关（二维概率密度、相关函数、协方差函数）。对于广义平稳来说，均值与时间无关，相关函数仅与时间差有关。

2.严格平稳过程

• 一维特性与时间无关：
  $p_1(x_1,t_1)=p_1(x_1)，E[X(t)]=m_X，D[X(t)]={\sigma }_X^2$
• 二维特性仅与时间差相关：
  $$\begin{array}{cc}& p_2(x_1,x_2;t_1,t_2)=p_2(x_1,x_2;\tau )，R_X(t_1,t_2)=R_X(\tau )\\ & \\ & C_X(t_1,t_2)=R_X(\tau )-m_X^2\end{array}$$

3.广义平稳过程

• 这里比严格平稳过程要宽松很多，广义平稳过程仅要求均值和相关函数的特性。
  $$\{\begin{array}{cc}& E[X(t)]=m_X\\ & R_X(t_1,t_2)=R_X(\tau )\end{array}$$

4.各态历经过程

• 统计平均
  统计平均是在样本轴上来看，这个要求的是在同一时刻进行大量样本的取值再求平均，实际上在操作起来这样是很麻烦的，因为要进行十分多次的重复试验。
  $$\begin{array}{cc}& E[X(t)]=m_X\\ & R_X(t_1,t_2)=R_X(\tau )\end{array}$$
• 时间平均
  时间平均是在时间轴上来看的，这个只要求在众多样本中取出一个函数然后进行积分求平均就可以了,比如对某一样本函数 $x_i(t)$
  时间均值 $$<x_i(t)>=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{x}_i(t)dt$$
  时间自相关函数
  $$<x_i(t)x_i(t+\tau )>=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{x}_i(t)x_i(t+\tau )dt$$
• 各态历经性（遍历性）
  如果 xx 的时间平均和 xx 的统计平均在概率上是相等的，就说 xx 具有遍历性。
  比如如果有 $$<x_i(t)>\stackrel{P}{=}E[X(t)]$$就说均值具有遍历性。
• 遍历过程：
  • 定义：均值和相关函数都具有遍历性。
  • 理解：实际上遍历性说明了一个样本在足够长的时间内经历了这个随机过程全部的可能状态，因此对于每一个样本都可以作为了解这个随机过程的一个典型，所以直接对时间取平均就可以了。
• 遍历性的充要条件：
  • 平稳过程 $X(t)$ 的均值 $m_X$ 具有遍历性的充要条件：
    $$\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-2T}^{2T}(1-\frac{|\tau |}{2T})C_X(\tau )d\tau =0$$
  • 平稳过程 $X(t)$ 的相关函数 $R_X(\tau )$ 具有遍历性的充要条件：
    $$\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-2T}^{2T}(1-\frac{|\alpha |}{2T})C_{\varphi }(\alpha )d\alpha =0$$
    这里 $\varphi (t)=X(t)X(t+\tau )$
  • 对于零均值平稳正态随机过程 $X(t)$
    $$\underset{|\tau |\to \infty }{\lim }{C}_X(\tau )=0$$
    实际上这个式子想表达的意思是，在两个随机变量相差足够长的时间之后，两个随机变量之间不存在相关性，这样才能完成遍历。

5.平稳过程相关函数的性质

• 相关函数是时间差的偶函数：$$R_X(\tau )=R_X(-\tau )$$
• 相关函数在 $\tau =0$ 的时刻一定为非负值：$$R_X(0)\ge 0$$
• 相关函数在 $\tau =0$ 的时刻为最大值（就是说自己和自己相关性最高）：$$R_X(0)\ge |R_X(\tau )|$$
• 如果平稳随机不含周期分量（在相差时间无限长的时候，两者以均值形式相关）：$$R_X(\infty )=m_X^2$$
• 对周期性随机过程其相关函数也具有周期性：$$R_X(\tau )=R_X(\tau +T)$$
• $R_X(\tau )$ 为非负定函数，即对任意数组 $t_1,t_2,\cdots ,t_n$ 和任意函数 $f(x)$，均有 $$\sum _{i,j=1}^n{R}_X(t_i-t_j)f(t_i)f(t_j)\ge 0$$

6.相关系数和相关时间

• 相关系数（实际上就是进行了一个归一化处理）
  $$r_X(\tau )=\frac{R_X(\tau )-R_X(\infty )}{R_X(0)-R_X(\infty )}=\frac{C_X(\tau )}{C_X(0)}=\frac{C_X(\tau )}{{\sigma }_X^2}$$
• 相关时间：
  可以从上面的等式看出来，当 $\tau \to \infty$ 时，$r_X(\tau )\to 0$，但是工程上没有办法实现 $\infty$ 这一概念，因此规定从 $r_X(\tau )=1$ 下降到某个很小的数（在这个数之后直接认为不相关）花费的时间为相关时间。下面给出一个衡量相关时间长短的积分式：$${\tau }_0={\int }_0^{\infty }{r}_X(\tau )d\tau$$
  • 相关时间越长表示随机过程的起伏变化越慢。