系统辨识——线性时不变系统

协方差函数

假设$e(t)$是均值为零，方差为$\lambda$的白噪声
对扰动项的描述为
$$v(t)=\sum _{k=0}^{\infty }h(k)e(t-k)$$

则扰动的均值为
$$Ev(t)=\sum _{k=0}^{\infty }h(k)Ee(t-k)=0$$

协方差为
$$\begin{array}{rl}Ev(t)v(t-\tau )& =\sum _{k=0}^{\infty }\sum _{s=0}^{\infty }h(k)h(s)Ee(t-k)e(t-\tau -s)\\ & =\sum _{k=0}^{\infty }\sum _{s=0}^{\infty }h(k)h(s)\delta (k-\tau -s)\lambda \\ & =\lambda \sum _{k=0}^{\infty }h(k)h(k-\tau )\end{array}$$
第一个等式为带入定义得到，第二个等式由白噪声的方差及独立信号在不同时刻的乘积的均值为0得到，第三个等式由脉冲信号的定义得到。
该协方差与时间 $t$ 无关，定义扰动 $v$ 的协方差函数为 $R_v(\tau )=Ev(t)v(t-\tau )$

传递函数

将输出由脉冲响应表示：
$$y(t)=\sum _{k=1}^{\infty }g(k)u(t-k)=\left[\sum _{k=1}^{\infty }g(k)q^{-k}\right]u(t)=G(q)u(t)$$

称 $G(q)$ 为传递函数， 因此一个带有加型扰动的线性系统可以表示为
$$y(t)=G(q)u(t)+H(q)e(t)$$

传递函数稳定的条件
$$\sum _{k=1}^{\infty }|g(k)|<\infty$$

如果滤波器的零阶系数为 $1$，则称为 $monic$

频域表示

欧拉公式 $$ix=cosx+isinx$$

假设输入为 $u(t)=coswt=\text{Re}{e}^{iwt}$
则输出为
$$\begin{array}{rl}y(t)& =\sum _{k=1}^{\infty }g(k)\text{Re}{e}^{iw(t-k)}=\text{Re}\sum _{k=1}^{\infty }g(k)e^{iw(t-k)}\\ & =\text{Re}\left\{e^{iwt}\cdot \sum _{k=1}^{\infty }g(k)e^{-iwk}\right\}=\text{Re}\left\{e^{iwt}\cdot G(e^{iw})\right\}\\ & =|G(e^{iw})|cos(wt+\varphi )\end{array}$$

其中 $\varphi =\text{arg}G(e^{iw})$
因此在输入 $u(t)$ 的作用下，输出的频率不变，幅度扩大 $|G(e^{iw})|$，相位增加了 $\text{arg}G(e^{iw})$ 弧度。
frequency function: $G(e^{iw}),-\pi \le w\le \pi$
Bode plot: $\text{log}|G(e^{iw})|$ and $\text{arg}G(e^{iw})$ plotted against $\text{log}w$.
Nyquist plot： The plot of frequency function in the complex plane.

周期图

离散傅里叶变换：对于 $N$ 点序列 { x [ n ] } 0 ≤ n &lt; N \left\{ x[n] \right\}_{0\le n&lt; N} {x[n]}0≤n<N​
DFT为
$$\hat{x}[k]=\frac{1}{\sqrt{N}}\sum _{n=0}^{N-1}{e}^{-i\frac{2\pi }{N}nk}x[n].k=0,1,...,N-1.$$
IDFT为
$$x[n]=\frac{1}{\sqrt{N}}\sum _{k=0}^{N-1}{e}^{i\frac{2\pi }{N}nk}\hat{x}[k].n=0,1,...,N-1.$$

考虑有限输入序列 $u(t),t=1,...,N$.
定义
$$U_N(w)=\frac{1}{\sqrt{N}}\sum _{t=1}^{N}u(t)e^{-iwt}$$

其中，$w=\frac{2\pi }{N}k.k=1,...,N$，对应的有
$$u(t)=\frac{1}{\sqrt{N}}\sum _{k=1}^N{U}_N(\frac{2\pi }{N}k)e^{i\frac{2\pi }{N}kt}$$

也经常写成
$$u(t)=\frac{1}{\sqrt{N}}\sum _{k=-N/2+1}^{N/2}{U}_N(\frac{2\pi }{N}k)e^{i\frac{2\pi }{N}kt}$$

可以将输入 $u(t)$ 看为 $N$ 个不同频率 $w$ 下 $e^{iwt}$ 的线性组合，其中 $U_N(2\pi k/N)$ 可以看做是频率为 $w=2\pi k/N$ 的输入分量相应的权重。因此 $|U_N(2\pi k/N){|}^2$ 可以用来衡量不同频率对信号功率的贡献，即 $|U_N(w){|}^2$ 为信号 $u(t),t=1,...,N$ 的周期图。

根据欧拉公式及积分离散化的原理，有如下关系成立
$$\frac{1}{N}\sum _{k=1}^N{e}^{i\frac{2\pi }{N}rk}=\{\begin{array}{cc}1,& r=0\\ 0,& 1\le r<N\end{array}$$

Parseval定理
$$\sum _{k=1}^N|U_N(\frac{2\pi }{N}k){|}^2=\sum _{t=1}^N{u}^2(t)$$

周期图的转化

稳定系统
$$s(t)=G(q)w(t)$$

假设 $w(t)$ 在 $t\le 0$ 的值未知，但有 $|w(t)|\le C_w$，则
$$S_N(w)=G(e^{iw})W_N(w)+R_N(w)$$

其中，$|R_N(w)|\le 2C_w\cdot \frac{C_G}{\sqrt{N}},C_G={\sum }_{k=1}^{\infty }k|g(k)|$

信号谱

定义信号 $s$ 的谱为
$$\underset{N\to \infty }{\lim }|S_N(w){|}^2$$

实际中这一极限往往不存在

对于系统
$$y(t)=G(q)u(t)+H(q)e(t)$$

该过程不是一个平稳过程。
定义 准平稳信号 { s ( t ) } \{s(t)\} {s(t)} 满足

1. $$Es(t)=m_s(t).|m_s(t)|\le C.\forall t$$

2. $$Es(t)s(r)=R_s(t,r).|R_s(t,r)|\le C$$

   $$\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{t=1}^{N}R(t,t-\tau )=R_s(\tau ).\forall \tau$$

频谱的定义：自相关（互相关）函数的离散傅里叶变换
$${\Phi }_s(w)=\sum _{\tau =-\infty }^{\infty }{R}_s(\tau )e^{-i\tau w}$$

$${\Phi }_{sw}(w)=\sum _{\tau =-\infty }^{\infty }{R}_{sw}(\tau )e^{-i\tau w}$$

随机过程 $v(t)=H(q)e(t)$， { e ( t ) } \{e(t)\} {e(t)} 是零均值协方差为 $\lambda$ 独立随机变量，有
$${\Phi }_v(w)=\lambda |H(e^{iw}){|}^2$$

信号叠加的频谱

符号定义
$$\bar{E}f(t)=\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{t=1}^{N}Ef(t)$$

假设信号为
$$s(t)=u(t)+v(t)$$

其中 $u(t)$ 是确定信号，$v(t)$ 是零均值的平稳随机过程，则
$$\begin{array}{rl}\bar{E}s(t)s(t-\tau )& =\bar{E}u(t)u(t-\tau )+\bar{E}u(t)v(t-\tau )\\ & +\bar{E}v(t)u(t-\tau )+\bar{E}v(t)v(t-\tau )\\ & =R_u(\tau )+R_v(\tau )\end{array}$$

由于 $\bar{E}v(t)u(t-\tau )=0$，所以
$${\Phi }_s(w)={\Phi }_u(w)+{\Phi }_v(w)$$

线性系统的频谱转换

假设频谱为 ${\Phi }_w(w)$ 的准平稳 (quasi-stationary) 信号 { w ( t ) } \{w(t)\} {w(t)} 经过稳定的线性系统 $G(q)$ 滤波后为
$$s(t)=G(q)w(t)$$

满足 $s(t)$ 也是准平稳信号且
$$\begin{array}{rl}{\Phi }_s(w)& =|G(e^{iw}){|}^2{\Phi }_w(w)\\ {\Phi }_{sw}(w)& =G(e^{iw}){\Phi }_w(w)\end{array}$$

给定$$y(t)=G(q)u(t)+H(q)e(t)$$其中 { u ( t ) } \{u(t) \} {u(t)} 为频谱为 ${\Phi }_u(w)$ 的准平稳确定信号， { e ( t ) } \{e(t) \} {e(t)} 为方差 $\lambda$ 的白噪声，$G,H$ 为稳定滤波器，则 { y ( t ) } \{y(t)\} {y(t)} 是准平稳的且满足
$$\begin{array}{rl}{\Phi }_y(w)& =|G(e^{iw}){|}^2{\Phi }_u(w)+\lambda |H(e^{iw}){|}^2\\ {\Phi }_{yu}(w)& =G(e^{iw}){\Phi }_u(w)\end{array}$$

谱分解

传递函数 $G(q),H(q)$ 通常是 $q$ 的有理函数，频谱是 $e^{iw}$ 的实值有理函数。
那么如果给定频谱 ${\Phi }_v(w)$， 如何求得传递函数 $H(q)$ 满足 $v(t)=H(q)e(t)$， 其中 { e ( t ) } \{ e(t)\} {e(t)} 为白噪声。
假设 ${\Phi }_v(w)>0$ 是 $cosw$ 或 $e^{iw}$ 的有理函数，那么可以构造一个monic有理函数 $R(z)$，其零极点均在单位圆内且满足
$${\Phi }_v(w)=\lambda |R(e^{iw}){|}^2$$假设平稳过程 { v ( t ) } \{ v(t)\} {v(t)} 具有有理频谱 ${\Phi }_v(w)$. 可以表示为
$$v(t)=R(q)e(t)$$ 其中 { e ( t ) } \{ e(t)\} {e(t)} 是方差为 $\lambda$ 的白噪声，$R(q)$ 为有理函数且满足
$$R(q)=\frac{C(q)}{A(q)}=\frac{1+c_1{q}^{-1}+...+c_{n_c}{q}^{-n_c}}{1+a_1{q}^{-1}+...+a_{n_a}{q}^{-n_a}}$$因此也就能用ARMA模型，AR模型或MA模型来描述这一过程。

Remark

以上结论均针对SISO过程，对于多变量系统，详见（Ljung,1999）