统计动力学笔记（一）动态系统随机信号在时域中的变换（自留用）

1. 系统工作质量的表征及若干统计学概念

设一个动态系统的输入为$u(t)$，输出为$x(t)$，则动态误差即为$e(t)=u(t)-x(t)$。当输入$u(t)$为随机信号时，$e(t)$即为随机误差。

通常地，在随机输入信号的作用下，系统的工作质量可以由随机的均方差来表示：
$$\overline{e^2}(t)=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{e}^2(t)\mathrm{d}t\text{\hspace{1em}(1)}$$

接下来引入几个统计学基本概念。
（1）概率分布函数$F(x)$。概率分布函数指的是随机变量$X$不超过某个值$x$（即$X<x$）的概率：
$$F(x)=P(X<x)$$（2）概率密度分布函数$f(x)$。可以简单粗暴地理解为“随机变量$X$等于某个值$x$的概率”，或者从数学上理解为“概率分布函数$F(x)$的导数”即可：
$$f(x)=\frac{\mathrm{d}F(x)}{\mathrm{d}x}=\underset{\Delta \to 0}{\lim }\frac{P\left(x\le X\le x+\Delta x\right)}{\Delta x}=\underset{\Delta \to 0}{\lim }\frac{F\left(x+\Delta x\right)-F(x)}{\Delta x}$$由此得出
$$F(x)={\int }_{\infty }^{x}f(x)\mathrm{d}x$$随机变量$X$的数学期望：
$$\tilde{x}=M\left[X\right]={\int }_{-\infty }^{\infty }xf(x)\mathrm{d}x$$随机变量$X$的$m$ – 阶矩：
$${\tilde{x}}^m={\int }_{-\infty }^{\infty }{x}^{m}f(x)\mathrm{d}x$$随机变量$X$的$m$ – 阶中心矩：
$$M\left[{\left(X-\tilde{x}\right)}^m\right]={\int }_{-\infty }^{\infty }{\left(X-\tilde{x}\right)}^{m}f(x)\mathrm{d}x$$方差（其实就是二阶中心矩）：
$$M\left[{\left(X-\tilde{x}\right)}^2\right]={\int }_{-\infty }^{\infty }{\left(X-\tilde{x}\right)}^{2}f(x)\mathrm{d}x$$当考虑时间时，样本的均值可以等同于数学期望：
$$\begin{gathered} m_x(t)=\tilde{x}(t)=M\left[X(t)\right]={\int }_{-\infty }^{\infty }xf(x,t)\mathrm{d}x, \\ {D}_x(t)=D\left[X(t)\right]={\int }_{-\infty }^{\infty }{\left[X(t)-m_x(t)\right]}^{2}f(x,t)\mathrm{d}x \end{gathered}$$而对于不同时刻$t_1,t_2$的随机过程来说，同样可以有数学期望：
$$M\left[X\left(t_1\right)X\left(t_2\right)\right]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_{2}f\left(x_1,t_1,x_2,t_2\right)\mathrm{d}{x}_1\mathrm{d}{x}_2=R\left(t_1,t_2\right)$$称为相关函数。相关函数表征了不同时刻之间随机变量的联系。

对于一个随机变量$x$，其在不同时刻的相关函数$R_x\left(t_1,t_2\right)$称为$x$的自相关函数。而对于两个不同的随机变量$x,y$，在不同时刻的相关函数$R_{xy}\left(t_1,t_2\right)$称为互相关函数。显然，当$t_2=t_1+\tau$时，自相关函数还可以表示为
$$R(\tau )=M\left[X\left(t_1\right)X\left(t_1+\tau \right)\right]={\int }_{-\infty }^{\infty }\mathrm{d}{x}_1{\int }_{-\infty }^{\infty }{x}_1{x}_{2}f\left(x_1,x_2,\tau \right)\mathrm{d}{x}_2$$

2. 各态遍历性

对于具有各态遍历性的静定过程，以下公式成立：
$$\tilde{x}=\bar{x},\widetilde{x_1{x}_2}=\overline{x_1{x}_2}$$同时，由于具有各态遍历性，因而随机变量的平均值不会因采样时间段而改变：
$$\bar{x}=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}x(t)\mathrm{d}t=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{T}x(t)\mathrm{d}t$$因而自相关函数为
$$R(\tau )=\overline{x_1{x}_2}=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{T}x(t)x(t+\tau )\mathrm{d}t$$

3. 相关函数的性质

以下给出相关函数的一些性质：
$$R_{xy}(\tau )=R_{yx}(-\tau );$$$$R_{yx}(\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}y(t)x(t+\tau )\mathrm{d}t;$$$$R_{yx}(-\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}y(t)x(t-\tau )\mathrm{d}t$$而若设$t_1=t-\tau$则
$$R_{yx}(-\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}y(t_1+\tau )x(t_1)\mathrm{d}t=R_{xy}(\tau )$$当$\tau =0$时：
$$R_x(0)=M\left[X^2(t)\right]=\overline{x^2}=D_x$$当$\tau \to \infty$时：
$$R_x(\tau \to \infty )={\left(\tilde{x}\right)}^2={\left(\bar{x}\right)}^2$$特别地，白噪声的相关函数为：
$$R_x(\tau )=N^2\delta (\tau )$$

4. 确定相关函数的实验方法

对于静定各态遍历系统，其相关函数：
$$R_x(\tau )=\overline{X(t)X(t+\tau )}=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{T}x(t)x(t+\tau )\mathrm{d}t$$其估计值为
$${\hat{R}}_x(\tau )=\frac{1}{T}{\int }_0^{T}x(t)x(t-\tau )\mathrm{d}t$$在实际中，为了使得到的估计值尽量准确，应使实验时间$T$尽可能长。

5. 通过线性动态系统的静定随机信号的特性

设某随机信号$u(t)$，其相关函数为$R_u(\tau )$，则其通过具有脉冲信号$K(t)$的系统后，得到的输出依然是随机信号：
$$x(t)={\int }_{-\infty }^{\infty }K(\lambda )u(t-\lambda )\mathrm{d}\lambda =K(\lambda )\ast u(\lambda )\text{\hspace{1em}(2)}$$即为二者卷积。
对输出$x$求数学期望：
$$M\left[x(t)\right]={\int }_{-\infty }^{\infty }K(\lambda )M\left[u(t-\lambda )\right]\mathrm{d}\lambda$$而在$t+\tau$时刻：
$$x(t+\tau )={\int }_{-\infty }^{\infty }K(\eta )u(t+\tau -\eta )\mathrm{d}\eta$$则可以计算$x$的相关函数：
$$\begin{array}{rl}{R}_x(\tau )& =M\left[x(t)x(t+\tau )\right]\\ & =M\left[{\int }_{-\infty }^{\infty }K(\lambda )u(t-\lambda )\mathrm{d}\lambda {\int }_{-\infty }^{\infty }K(\eta )u(t+\tau -\eta )\mathrm{d}\eta \right]\\ & ={\int }_{-\infty }^{\infty }K(\lambda )\mathrm{d}\lambda {\int }_{-\infty }^{\infty }M\left[u(t-\lambda )u(t+\tau -\eta )\right]K(\eta )\mathrm{d}\eta \end{array}$$设$t^{\prime }=t-\lambda$，则
$$M\left[u(t^{\prime })u(t^{\prime }+\lambda +\tau -\eta )\right]=R_u(\tau +\lambda -\eta )$$代入上式有
$$R_x(\tau )={\int }_{-\infty }^{\infty }K(\lambda )\mathrm{d}\lambda {\int }_{-\infty }^{\infty }{R}_u(\tau +\lambda -\eta )K(\eta )\mathrm{d}\eta \text{\hspace{1em}(3)}$$另外，$x$和$u$的互相关函数为（用到式(2)）：
$$\begin{array}{rl}{R}_{xu}(\tau )& =M\left[x(t)u(t-\tau )\right]\\ & =M\left\{\left[{\int }_{-\infty }^{\infty }K(\lambda )u(t-\lambda )\mathrm{d}\lambda \right]u(t-\tau )\right\}\\ & ={\int }_{-\infty }^{\infty }K(\lambda )M\left[u(t-\tau )u(t-\lambda )\right]\mathrm{d}\lambda \end{array}$$设$t-\tau =t^{\prime }$，则上式为
$$R_{xu}(\tau )={\int }_{-\infty }^{\infty }K(\lambda )M\left[u(t^{\prime })u(t^{\prime }+\tau -\lambda )\right]\mathrm{d}\lambda$$又由于$M\left[u(t^{\prime })u(t^{\prime }+\tau -\lambda )\right]=R_u(\tau -\lambda )$，代入上式有
$$R_{xu}(\tau )={\int }_{-\infty }^{\infty }K(\lambda )R_u(\tau -\lambda )\mathrm{d}\lambda \text{\hspace{1em}(4)}$$在实际情况下，当$\lambda <0$时$K(\lambda )\equiv 0$，故式(3)(4)还可以写为
$$R_x(\tau )={\int }_0^{\infty }K(\lambda )\mathrm{d}\lambda {\int }_0^{\infty }{R}_u(\tau +\lambda -\eta )K(\eta )\mathrm{d}\eta \text{\hspace{1em}(3)}$$$$R_{xu}(\tau )={\int }_0^{\infty }K(\lambda )R_u(\tau -\lambda )\mathrm{d}\lambda \text{\hspace{1em}(4)}$$

6. 系统输出的均方误差计算

前文提到，当$\tau =0$时：
$$R_x(0)=M\left[X^2(t)\right]=\overline{x^2}=D_x$$即为系统的方差。上式即（用到式(4)）：
$$\begin{array}{rl}{R}_x(0)& =R_x(\tau ){|}_{\tau =0}={\int }_0^{\infty }K(\lambda )\mathrm{d}\lambda {\int }_0^{\infty }{R}_u(\tau +\lambda -\eta )K(\eta )\mathrm{d}\eta {|}_{\tau =0}\\ & ={\int }_0^{\infty }K(\lambda )\mathrm{d}\lambda \underset{R_{xu}(\lambda )}{\underbrace{{\int }_0^{\infty }{R}_u(\lambda -\eta )K(\eta )\mathrm{d}\eta }}\\ & ={\int }_0^{\infty }K(\lambda )R_{xu}(\lambda )\mathrm{d}\lambda \end{array}\text{\hspace{1em}(5)}$$因此
$$D_x=\overline{x^2}={\int }_0^{\infty }K(\lambda )R_{xu}(\lambda )\mathrm{d}\lambda \text{\hspace{1em}(6)}$$