随机过程基础(3)---随机过程的统计描述、平稳随机过程

随机过程的概率分布
一维连续概率分布： F x ( x , t ) = P { X ( t ) ≤ x } F_x(x,t)=P\{X(t)\le x\} Fx​(x,t)=P{X(t)≤x}对x偏导，就是X(t)的一维概率密度。显然，这两个二元函数将随机变量的分布\密度铺到整个时间轴上，一个时间对应一个变量分布情况。因此只考虑某个t的结论全部和随机变量结论相同，例如$${\int }_{-\infty }^{\infty }f(x,t)dx=1$$blablabla。
一维离散概率分布同理。 F x ( x , n ) = P { X ( n ) ≤ x } F_x(x,n)=P\{X(n)\le x\} Fx​(x,n)=P{X(n)≤x}

一般，若X(t)是Y的函数，还是可以$$f_X(x,t)=f_Y(y)|J|$$其中y替换成含有x的式子(如果不严格平稳，里面一般也含着t)。

二维连续概率分布同理。 F X ( x 1 , x 2 , t 1 , t 2 ) = P { X ( t 1 ) ≤ x 1 , X ( t 2 ) ≤ x 2 } F_X(x_1,x_2,t_1,t_2)=P\{X(t_1)\le x_1,X(t_2)\le x_2\} FX​(x1​,x2​,t1​,t2​)=P{X(t1​)≤x1​,X(t2​)≤x2​}二维连续概率密度同理。$$f_X(x_1,x_2,t_1,t_2)=\frac{{\partial }^2{F}_X(x_1,x_2,t_1,t_2)}{\partial x_1\partial x_2}$$初步理解成从时间轴上揪出来两个点，对应出来两个随机变量后套上概率论公式就完了。
二维离散概率分布、离散概率密度同理，只不过将t换成n。
多维概率密度同理。完全描述某过程统计特性应该使N趋于无穷大，工程应用中二维概率分布就够了（计算功率谱密度等只需二维）。
随机过程的数字特征
均值
对于连续系统，写作$$m_X(t)=E(X(t))={\int }_{-\infty }^{\infty }x{f}_X(x,t)dx$$同理，把t换成n，离散系统写作$$m_X(n)=E(X(n))={\int }_{-\infty }^{\infty }x{f}_X(x,n)dx$$时间不连续，但状态仍(一般)是连续的，所以上式仍用积分号。每个t(或n)（一般）对应一个均值，故$m_X(t),m_X(n)$是函数。
方差
对于随机过程，定义式 σ X 2 ( t ) = E { [ X ( t ) − m X ( t ) ] 2 } = E [ X 2 ( t ) ] − m X 2 ( t ) \sigma_X^2(t)=E\{[X(t)-m_X(t)]^2\}=E[X^2(t)]-m_X^2(t) σX2​(t)=E{[X(t)−mX​(t)]2}=E[X2(t)]−mX2​(t)随机序列，定义式 σ X 2 ( n ) = E { [ X ( n ) − m X ( n ) ] 2 } \sigma_X^2(n)=E\{[X(n)-m_X(n)]^2\} σX2​(n)=E{[X(n)−mX​(n)]2}有$$E[X^2(t)]={\sigma }_X^2(t)+m_X^2(t)$$它可以衡量总平均功率。
相关函数和协方差函数
（自）相关函数$$R_X(t_1,t_2)=E[X(t_1)X(t_2)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_{2}f(x_1,x_2,t_1,t_2)d{x}_{1}d{x}_2$$取正值表明（多数）样本函数与时间呈正相关，反之则多呈负相关（一般情况下）。绝对值越大相关性越强，选取的两个t间隔越远自相关函数绝对值越小。t₁=t₂时，相关性最强。（大小要相对来看，并且由于随机性，上述结论都不是绝对的）还有$$K_X(t,t)=E[X^2(t)]={\sigma }_X^2(t)+m_X^2(t)$$协方差函数 K X ( t 1 , t 2 ) = E { ] X ( t 1 ) − m X ( t 1 ) ] [ X ( t 2 ) − m X ( t 2 ) ] } K_X(t_1,t_2)=E\{]X(t_1)-m_X(t_1)][X(t_2)-m_X(t_2)]\} KX​(t1​,t2​)=E{]X(t1​)−mX​(t1​)][X(t2​)−mX​(t2​)]}显然（类似随机变量协方差的展开、消去中间两项过程）$$K_X(t_1,t_2)=R_X(t_1,t_2)-m_X(t_1)m_X(t_2)$$类似地，协方差函数为零，则两个时刻对应的随机变量不相关；自相关函数为零，则对应t₁t₂两个状态正交；联合概率密度可以直接乘开，则对应状态相互独立。
将t改写成n，就有离散时间随机过程的自相关函数和协方差函数。
离散状态随机过程的自相关函数写作$$R_X(t_1,t_2)=E[X(t_2)X(t_2)]=\sum _{i=1}^N\sum _{i=1}^N{x}_i(t_1)x_j(t_2)p_{ij}(t_1,t_2)$$p_ij表示在t₁时刻取到第i个状态、t₂时刻取到第j个状态的概率。协方差函数 K X ( t 1 , t 2 ) = E { ] X ( t 1 ) − m X ( t 1 ) ] [ X ( t 2 ) − m X ( t 2 ) ] } K_X(t_1,t_2)=E\{]X(t_1)-m_X(t_1)][X(t_2)-m_X(t_2)]\} KX​(t1​,t2​)=E{]X(t1​)−mX​(t1​)][X(t2​)−mX​(t2​)]}$$=\sum _{i=1}^N\sum _{i=1}^N[x_i(t_1)-m_X(t_1)][x_j(t_2)-m_X(t_2)]p_{ij}(t_1,t_2)$$这里简单整个例子，验证书中计算的随机相位信号的统计特性。$$y=cos({\omega }_{0}t+k),{\omega }_0=\frac{\pi }{2}$$相位k是0到2pi服从均匀分布的随机变量。
以下程序中，int求k从0到2pi的Y的定积分。
求均值，计算式$$m_X(t)=E(X(t))={\int }_{-\infty }^{\infty }x{f}_X(x,t)dx$$这里f_x=1/2pi

syms t k;
A=1;w=pi/2;
fx=1/(2*pi)
y=fx*A*sin(w*t+k);
res=int(y, k, 0, 2*pi);
ezplot(t,res)

求自相关函数，得$$R_X(t_1,t_2)=\frac{1}{2}cos\frac{\pi }{2}(t_1-t_2)$$

syms t1 t2 k
y1=sin(w*t1+k); 
y2=sin(w*t2+k);
y=y1*y2;
R=1/(2*pi)*int(y,k,0,2*pi); 
ezmesh(R,100)

方差$${\sigma }_X^2(n)=R_X(n,n)-m_X^2(n)=\frac{1}{2}$$

syms t k
y=sin(w*t+k);
h=1/(2*pi)*int(y,k,0,2*pi);
m=(y-h)^2;
D=1/(2*pi)*int(m,k,0,2*pi);
ezplot(D);

平稳随机过程
严格平稳随机过程任意N维分布不随时间起点的不同变化（shift-invariance）。$$f_X(x_1,x_2,...,x_n,t_1,...,t_n)=f_X(x_1,...,x_n,t_1+c,t_2+c,...,t_n+c)$$特别地，一维概率密度与时间无关$$f_X(x,t)=f_X(x)$$二维概率密度只与时间间隔有关（思考为什么还与间隔有关）$$f_X(x_1,x_2,t_1,t_2)=f_X(x_1,x_2,\tau ),\tau =t_1-t_2$$反过来，广义平稳随机过程指满足$$m_X(t)=常数$$$$R_X(t_1,t_2)=R_X(\tau )$$的随机过程。例如刚才画的随机相位信号均值为0，相关函数只与时间差有关，是平稳的。由上立即有$R_X(t,t)$恒定，即方差恒定。下图最左侧是时域分析中（广义）平稳随机过程的某次试验图，分别与对应随机过程的方差、均值（在不同时间点）不恒定的右两图对比。

平稳随机过程不意味随机变量值/随机变量函数/随机变量的分布形式不随时间变化，而意味着随机变量随时间分布变化的某种方式没有变化。

循环平稳(Cyclostationarity)指$$F_X(x_1,...,x_N,t_1+MT,...,t_N+MT)=F_X(x_1,...,x_N,t_1,...,t_N)$$当白噪声信号受到正弦信号调制产生的波形满足循环平稳。写一个简单的对白噪声用正弦波幅度调制，（代码与本主题无关不贴了）运行效果如图：

可以认为生成的𝑥(𝑡)=𝑛(𝑡)sin2𝜔𝑡是一个循环平稳过程。
设X(t)严格循环平稳，而随机变量θ在区间（0，T）上均匀分布，θ与X（t）统计独立，则Y(t)=X(t-θ)是严格平稳随机过程，N维分布函数$$F_X(x_1,...,x_{N-1},t_1,...,t_N)=\frac{1}{T}{\int }_0^T{F}_X(x_1,..,x_N,t_1-\alpha ,...,t_N-\alpha )d\alpha$$
渐进平稳
写作$$\underset{c\to \infty }{\lim }{f}_X(x_1,x_2,...,x_N,t_1+c,...,t_N+c)$$存在且与c无关。
k阶严格平稳
当时移不变性仅对前k阶有效，就称为k阶严格平稳。高阶平稳能推出低阶平稳，反之不然。例子比较难举，例如找一个一阶严格平稳的随机过程，其协方差矩阵是[X(t),X(t+1),X(t+2)]$$\left[\begin{array}{ccc}{\sigma }^2& a& b\\ a& {\sigma }^2& c\\ b& c& {\sigma }^2\end{array}\right]$$由于E[X(t)X(t+1)]=a，时移后得到E[X(t+1)X(t+2)]=c而不是a，所以它不是二阶严格平稳的。类似地还可以举出其他例子。