【现代信号处理】 04 - 正交化与维纳滤波

正交化与维纳滤波

1. 线性估计与正交性之间的联系

1.1 相关运算的本质

  我们先来回顾一下我们的线性估计问题。

  假设有两个随机变量Z和Y，我们希望通过线性估计的方法让Z来逼近Y，也就是

$$\begin{gathered} Z,Y \\ Z->Y \end{gathered}$$

  我们的优化条件是估计量与真值的均方误差最小，即

$$minE(Y-\alpha Z{)}^2$$

  求导可得

$${\nabla }_{\alpha }=2\ast E(Z\ast (Y-\alpha Z))=0$$

  最终可以得到

$$\alpha =\frac{E(ZY)}{E(Z^2)}$$

  我们得到这个结论的时候，有一点是值得好好体味一下的。

  就是求导条件

$${\nabla }_{\alpha }=2\ast E(Z\ast (Y-\alpha Z))=0$$

  我们注意到这是Z与Y的残差之间的相关运算等于0

  相关运算本质上是在计算向量的内积。而且我们知道，内积是与向量夹角有关系的。因此相关运算的大小实际上代表的是向量的角度

$$Cos(Z_1,Z_2)=\frac{<Z_1,Z_2>}{||Z_1||\ast ||Z_2||}$$

  我们抛开底下的取模运算不管，因为这实际上就是归一化。相关运算和向量的角度是直接相关的。

  因此两个随机变量的夹角就是两个随机变量的相关系数。

  如果两个向量的相关为0，就说明这个夹角是90度，也就是随机变量是正交的。所以，我们发现，我们在取最优的过程中，实际上就是采样值与估计残差之间的相关，如果二者不相关，就意味着达到了最优。从而说明了，最优性是从正交性提取出来的，就是要计算我们估计的原材料和估计的残差之间的相关

1.2 几何意义下的线性估计

  我们来从几何意义下观察一下，求线性估计在几何上是在做什么

1.2.1 单变量估计

  我们先从单变量开始

  我们假设有随机变量Y和Z，我们用Z来估计Y。我们从图中可以看出来，实际上我们就是要估计一条向量，到Y的距离最短。这个向量的终点就是Y到Z的垂线的垂足。

  我们来求一下投影的长度

$$||Y||\ast Cos\theta =||Y||\ast \frac{E(YX)}{||Y||\ast ||Z||}=\frac{E(YX)}{||Z||}$$

  再把方向加上

$$\alpha Z=||Y||\ast Cos\theta \ast \frac{Z}{||Z||}=\frac{E(YX)}{||Z|{|}^2}Z$$

  可以得到α

$$\alpha =\frac{E(YX)}{||Z|{|}^2}$$

  我们在几何上寻找最优解，实际上是在找正交投影

  因此正交性是我们最优线性估计的关键,估计的残差要与估计的原材料正交

1.2.2 多变量估计

  我们把问题推广到多变量上

  我们假设有一组随机变量

$$Z_1,...,Z_k$$

  我们希望用这组随机变量去估计Y，也就是

$$Y<-(Z_1,...,Z_k{)}^T$$

  估计条件为

$$minE(Y-({\alpha }_1\ast Z_1+{\alpha }_2\ast Z_2+...+{\alpha }_k\ast Z_k){)}^2$$

  对任意一个α_k求导

$$-2E(Z_k\ast (Y-({\alpha }_1\ast Z_1+{\alpha }_2\ast Z_2+...+{\alpha }_k\ast Z_k)))=0$$

  我们可以看到残差与任意一个估计的原材料都是正交的

  我们继续从几何层面进行分析。就是Z构成了一个线性子空间，在线性子空间离找距离Y最近的点，也就是Y的投影点

  这个被称为正交性原理

1.3 正交性原理

  实际上，求正交性等价于求最优性，下面我们用数学公式的形式进行严格描述

  假定H是一个线性空间，Z是属于H空间的一个向量。H0是H的一个子空间，如果H0中存在一个向量x0，满足与Z的距离最短，当且仅当残差与任何一个x都正交的时候成立，也就是残差正交与H0

$$\begin{gathered} Z\in H{H}_0\subset Hx0\in H0 \\ ||x_0-Z||=min||x-Z||⟺<Z-x0,x>=0,\forall x\in H_0 \end{gathered}$$

  正交性原理意思就是，正交与最优解是一回事。
  下面我们证明一下正交性原理。

1.3.1 从正交性到最优性

  我们首先证明正交性能够得到最优性

$$\begin{gathered} \forall x\in H_0 \\ ||x-Z|{|}^2=||x-x_0+x_0-Z|{|}^2= \\ ||x-x_0|{|}^2+||x_0-Z|{|}^2+2\ast <x-x_0,x_0-Z> \end{gathered}$$

  因为残差与H₀是正交的，所以残差与任何x的乘积为0，所以交叉项为0

$$||x-Z|{|}^2=||x-x_0|{|}^2+||x_0-Z|{|}^2\ge ||x_0-Z|{|}^2$$
  可以看出，当且仅当x=x₀的时候，Z与H₀的距离最短，因此正交性条件能够证明最优性。

1.3.2 从最优性到正交性

$$已知min||x_0-Z|{|}^2,证明<x,x_0-Z>=0$$

  我们用反证法来证明

$$Assume\exists x_1\in H_0,<x_0-Z,x_1>\cancel{=}0$$

  因为x₁与残差不垂直，则残差在x₁上必定有投影x₁’。并且有x₂ = x₀+ x₁’，则Z与x₁的距离就是||Z - x₂||²

  我们先把投影向量进行表示
$$x_1^{\prime }=\frac{<Z-x_0,x_1>}{||x_1|{|}^2}{x}_1$$
  计算x₂表达式

$$x_2=x_1^{\prime }+x_0=\frac{<Z-x_0,x_1>}{||x_1|{|}^2}{x}_1+x_0$$

  计算x₂到Z的距离

$$\begin{gathered} ||x_2-Z|{|}^2=||\frac{<Z-x_0,x_1>}{||x_1|{|}^2}{x}_1+x_0-Z|{|}^2 \\ =\frac{|<Z-x_0,x_1>{|}^2}{||x_1|{|}^4}\ast ||x_1|{|}^2+||x_0-Z|{|}^2+2\ast \frac{<Z-x_0,x_1>}{||x_1|{|}^2}{x}_1\ast (x_0-Z) \\ =\frac{|<Z-x_0,x_1>{|}^2}{||x_1|{|}^2}+||x_0-Z|{|}^2+2\ast \frac{<Z-x_0,x_1>}{||x_1|{|}^2}\ast <x_1,x_0-Z> \end{gathered}$$

  利用内积的对称性质可得

$$\begin{gathered} =\frac{|<Z-x_0,x_1>{|}^2}{||x_1|{|}^2}+||x_0-Z|{|}^2+2\ast \frac{<Z-x_0,x_1>}{||x_1|{|}^2}\ast <x_0-Z,x_1> \\ =\frac{|<Z-x_0,x_1>{|}^2}{||x_1|{|}^2}+||x_0-Z|{|}^2-2\ast \frac{<Z-x_0,x_1>}{||x_1|{|}^2}\ast <Z-x_0,x_1> \\ =||x_0-Z|{|}^2-\frac{|<Z-x_0,x_1>{|}^2}{||x_1|{|}^2}<||x_0-Z|{|}^2 \end{gathered}$$

  因为x₁与Z-x₀不正交，所以这个结果必定是小于x₀与Z的距离,这与给定条件矛盾，因为x₀与Z的距离是最近的。

  因此，我们可以得到，H₀平面上不存在与Z- x₀不正交的向量，因此可以证明残差与H₀是正交的，也就从最优性得到了正交性。

2. 利用正交性做线性估计

2.1 Wiener-Hopf 方程

  知道了正交性原理以后，使得我们用一组随机变量去估计一个随机变量变得简单了起来

$$\begin{gathered} E(Z_k(Y-\sum _{i=1}^n{\alpha }_i{Z}_i))=0\forall k=1,...,n \\ =>E(Z_{k}Y)-\sum _{i=1}^n{\alpha }_{i}E(Z_k{Z}_i)=0 \end{gathered}$$

  我们定义几个参量
$$Let{r}_{ZY}=\left(\begin{array}{c}E(Z_{1}Y)\\ ...\\ E(Z_{n}Y)\end{array}\right)$$

$$Matrix{R}_Z=(E(Z_i{Z}_j){)}_{ij}$$

$$Let\alpha =({\alpha }_1,...,{\alpha }_n)$$

  则有下式成立
$$R_Z\ast \alpha =r_{ZY}$$

  这个式子叫做Wiener-Hopf 方程

$$\alpha =R_Z^{-1}\ast r_{ZY}$$

2.2 应用

2.2.1 离散随机变量做线性估计

2.2.1.1 模型建立

  假定有这样的等式

$$Z_k=A+N_k,k=1,...,n$$

  其中A是确定值，N是随机变量,其均值为0，并且做过归一化了

$$\begin{gathered} E(N_k=0) \\ E(N_k{N}_{\varphi })={\sigma }^2{\delta }_{k\varphi } \end{gathered}$$

  解释一下符号的意思
$${\delta }_{k\varphi }=\{\begin{array}{ll}1& \text{if }k=\varphi \\ 0& \text{if }k\cancel{=}\varphi \end{array}$$

  Z_k的含义是，有一个直流分量，然后由一个加性噪声。我们的任务是，通过采样去恢复直流分量

2.2.1.2 Wiener-Hopf 方程求解

  在这个问题中，我们有已知的采样数据Z

$$Z=(Z_1,...,Z_n{)}^T$$

   我们要用采样数据Z去估计A，我们令Y=A，这样看起来似乎奇怪，因为别的线性估计的两个参数Z和Y都是已知的，需要确定的是组合系数，但是在这个问题中A是未知的，组合系数也是未知的。但是我们尽可这样做，因为后面我们可以发现，我们求解的系数与A的关系并没有那么密切。

$$Y=A$$

  其实按照我们以往的经验，对采样数据求平均值，基本就是个很好的估计，也就是

$$A=\frac{1}{n}\sum _{k=1}^n{Z}_k$$

  我们来计算看看是不是这个样子的。

  采样数据满足如下关系

$$\begin{gathered} Z_1=A+N_1 \\ {Z}_2=A+N_2 \\ ... \\ {Z}_n=A+N_n \end{gathered}$$

  Z的模型可以写做
$$Z=A\ast e+N$$

  其中
$$\begin{gathered} Z=(Z_1,...,Z_n{)}^T \\ e=(1,...,1{)}^T \\ N=(N_1,...,N_n{)}^T \end{gathered}$$

  根据Wiener-Hopf方程，我们需要计算一下两个变量的自相关和互相关

$$\begin{gathered} R_Z=E(Z\ast Z^T) \\ {r}_{ZY}=E(ZA) \end{gathered}$$

  计算自相关
$$R_Z=E((A\ast e+N)\ast (A\ast e+N{)}^T)=A^2\ast E(e\ast e^T)+E(N\ast N^T)$$

  我们发现式子中，只有N是随机变量，并且N的自相关是对角线为σ²的对角阵，因此上式可以化为

$$R_Z=A^{2}e{e}^T+{\sigma }^{2}I$$

  计算互相关

$$r_{ZY}=E(ZY)=E((A\ast e+N)\ast A)=A^2\ast e$$

  根据Wiener-Hopf方程,我们可以得到系数向量

$$\alpha =R_z^{-1}\ast r_{ZY}=(A^{2}e{e}^T+{\sigma }^{2}I{)}^{-1}\ast (A^2\ast e)$$

---

  我们需要求组合矩阵的逆矩阵，我们在这里补充一点知识

$$\begin{gathered} \text{形如 }(I+B{b}^T{)}^{-1}\text{ 的逆矩阵一定可以写成下面的形式} \\ (I+b{b}^T{)}^{-1}=I-\beta \ast b\ast b^T \end{gathered}$$

  我们求解一下这个β。

  我们记住一点，这里面的b是个列向量，所以b^Tb是个常数，并且是可以提到乘法外面的。

$$(I+b{b}^T{)}^{-1}=I-\beta \ast b\ast b^T=>(I+b{b}^T)\ast (I-\beta \ast b\ast b^T)=I$$
  把式子展开

$$\begin{gathered} I-\beta \ast b\ast b^T+b\ast b^T-\beta \ast b\ast (b^T\ast b)\ast b^T=I \\ I+(1-\beta -\beta \ast b^T\ast b)\ast (b\ast b^T)=I \end{gathered}$$

  因此

$$1-\beta -\beta \ast b^T\ast b=0$$

$$\beta =\frac{1}{1+b^T\ast b}$$

$$I+b\ast b^T=I-\frac{1}{1+b^T\ast b}\ast b\ast b^T$$

---

  我们回到我们原来的式子中

$$\begin{gathered} \alpha =R_z^{-1}\ast r_{ZY}=(A^{2}e{e}^T+{\sigma }^{2}I{)}^{-1}\ast (A^2\ast e) \\ =\frac{1}{{\sigma }^2}\ast (\frac{A^2}{{\sigma }^2}\ast e\ast e^T+I{)}^{-1}\ast (A^2\ast e)(1) \end{gathered}$$

  我们令

$$\frac{A}{\sigma }\ast e=b(2)$$

  可得

$$(\frac{A^2}{{\sigma }^2}\ast e\ast e^T+I{)}^{-1}=(I+b\ast b^T{)}^{-1}=I-\frac{1}{1+b^T\ast b}\ast b\ast b^T(3)$$

  (2)代入(3)可得

$$(\frac{A^2}{{\sigma }^2}e{e}^T+I{)}^{-1}=I-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast e^{T}e}\ast e{e}^T$$
  由于

$$e^{T}e=n$$

  所以上式等于
$$(\frac{A^2}{{\sigma }^2}e{e}^T+I{)}^{-1}=I-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n}\ast e{e}^T(4)$$

  (4)代入(1)

$$\begin{gathered} \alpha =\frac{1}{{\sigma }^2}\ast (I-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n}\ast e{e}^T)\ast (A^2\ast e) \\ =\frac{1}{{\sigma }^2}\ast (I\ast e-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n}e(e^T\ast e))\ast (A^2) \\ =\frac{1}{{\sigma }^2}\ast (I\ast e-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n}en)\ast (A^2) \\ =\frac{1}{{\sigma }^2}\ast (I-\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n}n\ast I)\ast (A^{2}e) \\ =\frac{A^2}{{\sigma }^2}\ast (\frac{1}{1+\frac{A^2}{{\sigma }^2}\ast n})\ast e \\ =(\frac{\frac{A^2}{{\sigma }^2}}{1+\frac{A^2}{{\sigma }^2}\ast n})\ast e \\ =\frac{1}{n}\ast (\frac{\frac{A^2}{{\sigma }^2}}{\frac{1}{n}+\frac{A^2}{{\sigma }^2}})\ast e \end{gathered}$$

  我们观测这个估计器的结构，发现e前面是个常数。因此，每个系数都是相等的，可以看出来，本身最优的估计就是对所有的Z等权重相加，然后取平均。

  但是我们希望后面的东西是1，因为我们不知道A，甚至也不知道σ。这样我们有两种途径

• n充分大，后面的常数就可以忽略不计
• 信噪比充分高（信噪比就是信号的平均功率与噪声的平均功率之比），后面的常数就约等于1

2.2.2 连续时间变量的线性估计

2.2.2.1 模型建立

  假设有两个连续时间随机变量Z(t),Y(t)。让Z(t)去估计Y(t)

  让Z(t)通过一个线性系统h，从而实现对Y(t)的估计量

$$Z(t)->\boxed{h}->\hat{Z}(t)$$

  得到如下变换

$$\hat{Z}(t)={\int }_{-\infty }^{+\infty }h(t-\tau )Z(\tau )d\tau$$

  优化条件为

$$minE(\hat{Z}(t)-Y(t))$$

2.2.2.2 Wiener-Hopf 方程求解

  事实上，求连续随机变量的最短距离比求离散随机变量的距离要复杂很多，因为离散随机变量可以求导数。

  我们依然要利用正交的思想去解决问题

  根据正交性原理
$$E(Z(S)\ast (\hat{Z}(t)-Y(t)))=0$$

$$E(Z(S)\ast ({\int }_{-\infty }^{+\infty }h(t-\tau )Z(\tau )d\tau -Y(t)))=0$$

  可以得到

$${\int }_{-\infty }^{+\infty }h(t-\tau )E(Z(S)Z(\tau ))d\tau -E(Z(S)Y(t))=0(i)$$

---

  这里加个条件。假设Z(t)是宽平稳的【宽平稳意味着Z上两个时刻点的相关只依赖于两个时刻的差值】
$$E(Z(t)\ast Z(S))=R_Z(t-S)$$

  同时Y和Z的互相关，也只依赖于两个时刻的差值

$$E(Y(t)\ast Z(S))=R_{ZY}(t-S)$$

---

  因此我们可以得到

$${\int }_{-\infty }^{+\infty }h(t-\tau )E(Z(S)Z(\tau ))d\tau -E(Z(S)Y(t))=0(i)$$

$${\int }_{-\infty }^{+\infty }h(t-\tau )R_Z(\tau -S)d\tau =R_{ZY}(t-S)(ii)$$

  补充下平稳的概念。平稳性是随机信号的重要特性，平稳指的是随机信号的某种性质随时间的发展保持不变。宽平稳就是相关这个性质随着时间的改变保持不变。

  宽平稳下相关是时间差的一元函数，也就意味着相关满足下面的特性
$$E(Z(t)\ast Z(s))=E(Z(t+T)Z(S+T))$$

该式子对任意时间T成立。相关值仅仅取决于两个时刻的距离，也就是只取决于相对相位，与绝对相位无关

  回到我们的问题，我们要解的这个方程是积分方程，因为未知数在积分号里面，我们要求解h

$${\int }_{-\infty }^{+\infty }h(t-\tau )R_Z(t-S)d\tau =R_{ZY}(t-S)(ii)$$

  换元

$$Let{\tau }^{\prime }=\tau -S$$

  换元注意三件事情

• 旧元全部变新元
• 微元做好雅克比
• 处理好积分限

  得
$$
\int_{-\infty}^{+\infty} h(t - S - \tau’) R_Z(\tau’)d\tau’ = R_{ZY}(t-S) \quad\quad(iii)

$$

  我们把t-S看做整体，这就是个卷积。

$$Let{t}^{\prime }=t-S$$
  变换一下式子

$${\int }_{-\infty }^{+\infty }h(t^{\prime }-{\tau }^{\prime })R_Z({\tau }^{\prime })d{\tau }^{\prime }=R_{ZY}(t^{\prime })(iii)$$

  进行傅里叶变换，时域卷积就是频域乘积。我们注意一下，相关的傅里叶变换叫做功率谱密度。互相关的傅里叶变换叫做功率互谱密度

$$H(\omega )\ast S_Z(\omega )=S_{ZY}(\omega )$$

  我们可以得到最优线性系统了

$$
H(\omega) = \frac{S_{ZY}(\omega)}{S_Z(\omega)}

$$

  得到的这个结果非常有名，叫做维纳滤波器(Wiener Filter),通过维纳滤波器的线性系统，能够得到均为误差意义下的，最接近于我们目标的估计

3. 因果维纳滤波器

3.1 维纳滤波器存在的问题

  其实我们在2.2.2.2中推导出来的维纳滤波器是有问题的，我们来分析一下

  我们从求解过程出发

$$\hat{Z}(t)={\int }_{-\infty }^{+\infty }h(t-\tau )Z(\tau )d\tau$$

  这是我们用来估计Y(t)的式子，由于卷积具有对称性，我们可以变一下式子

$$\begin{gathered} \hat{Z}(t)={\int }_{-\infty }^{+\infty }h(t-\tau )Z(\tau )d\tau \\ ={\int }_{-\infty }^{+\infty }h(\tau )Z(t-\tau )d\tau \to Y(t) \end{gathered}$$

  这里我们注意一个问题，我们对Y(t)的预测，不能使用未来的数据，也就是只能使用Z(t)及其之前的数据对Y(t)进行预测。因此这里就多了一个限制条件，那就是τ必须大于0。因此积分区间必须从0开始，这样的滤波器才是因果的，才是物理可实现滤波器

$${\int }_0^{+\infty }h(\tau )Z(t-\tau )d\tau \to Y(t)$$

  这个时候，我们上面所有的推导过程积分域都要改

$$E(Z(S)\ast (\hat{Z}(t)-Y(t)))=0$$

$$E(Z(S)\ast ({\int }_0^{+\infty }h(t-\tau )Z(\tau )d\tau -Y(t)))=0$$

$${\int }_0^{+\infty }h(t-\tau )E(Z(S)Z(\tau ))d\tau -E(Z(S)Y(t))=0$$

$${\int }_0^{+\infty }h(t-\tau )R_Z(t-S)d\tau =R_{ZY}(t-S)$$
  换元

$$Let{\tau }^{\prime }=\tau -S$$

$${\int }_0^{+\infty }h(t-S-{\tau }^{\prime })R_Z({\tau }^{\prime })d{\tau }^{\prime }=R_{ZY}(t-S)$$
  换元

$$Let{t}^{\prime }=t-S$$
  变换一下式子

$${\int }_0^{+\infty }h(t^{\prime }-{\tau }^{\prime })R_Z({\tau }^{\prime })d{\tau }^{\prime }=R_{ZY}(t^{\prime })$$

  到这以后，问题就来了，这个已经不是卷积了。卷积必须对整个时间域来看的，现在区间从0开始了，我们就不能使用傅里叶变换从频域进行求解了。

3.2 维纳滤波器校正思路

3.2.1 正交化与截断

  事实上，在1930年以前，人们认为这个积分是不可解的，虽然可以用离散化做数值解，但是人们认为是没有解析解的。

  1930年以后，维纳提出了解决方法。其核心就是正交化

$$h(t)=minE[({\int }_{-\infty }^{+\infty }h(t-\tau )Z(\tau )d\tau -Y(t){)}^2]$$

$$\widetilde{h(t)}=minE[({\int }_0^{+\infty }h(t-\tau )Z(\tau )d\tau -Y(t){)}^2]$$

  假设我们有了对整个时间轴的最优解了，我们能通过截断的方法获取正半轴的最优解吗?

  也就是

$$\widetilde{h(t)}=\{\begin{array}{ll}h(t)& t\ge 0\\ 0& t<0\end{array}$$

  这肯定是不行的。我们来举个例子说明一下这件事情

  假设我们有Z₁和Z₂两个量去估计Y，前者代表小于0的时候的Z，后者代表大于0时候的Z,得到了如下的估计式子
$$Y\leftarrow Z_1,Z_2=>\hat{Y}={\alpha }_1{Z}_1+{\alpha }_2{Z}_2[1]$$

  现在只用Z₂去估计Y，得到一个新式子

$$Y\leftarrow Z_2=>{\hat{Y}}^{\prime }=\widetilde{{\alpha }_2}{Z}_2[2]$$
  那么问题来了，[1]式的α₂和[2]式的α₂相等吗?

  事实上，这个结果一般不同，除非Z₁和Z₂是正交的

  因为如果分解的基是正交的，往各个方向上的投影都是独立的，不会受到其他人的影响，即使减少了几个维度，其他维度的系数仍然不受影响。也可以从计算公式进行分析。

$$\begin{gathered} Y\leftarrow Z_1,Z_2=>\hat{Y}={\alpha }_1{Z}_1+{\alpha }_2{Z}_2 \\ Y\leftarrow Z_2=>{\hat{Y}}^{\prime }=\widetilde{{\alpha }_2}{Z}_2 \end{gathered}$$

  当且仅当Z₁与Z₂正交的时候，对应系数相等
$$Z_1\perp Z_2⟺{\alpha }_2=\widetilde{{\alpha }_2}$$

  现在我们有办法了，只要我们能够对Z进行正交化处理，我们就能对结果通过简单的截断来得到满足条件的因果维纳滤波器了

  这里做的正交化会比较高级，因为这是对连续时间做的。我们这里通过一个线性变换进行正交化

$$Z(t)->\boxed{h_1}->U(t)$$

  假定U(t)满足如下关系，假设得到正交化的结果是归一化的

$$\begin{gathered} E(U(t)U(s))=\delta (t-s) \\ \delta (t)=\{\begin{array}{ll}1& \text{if }t=0\\ 0& \text{if }t\cancel{=}0\end{array} \end{gathered}$$

3.2.2 处理思路

  整个处理过程如下

$$Z(t)\to \boxed{h_1}\to U(t)\to \boxed{h_2}\to \hat{U}(t)$$

  先对原始数据进行正交化，得到新的连续时间变量U(t)，然后对正交化过的数据进行整个时间轴的变换。对得到的线性系统h₂进行截断处理即可。

3.2.3 连续时间变量的正交化

  我们要实现我们的思路，有个很困难的事情。就是连续时间变量怎么做正交化。我们知道，离散的数据正交化可以使用格拉姆施密特正交化，但是连续时间变量处理起来就很麻烦。

  假设Z的功率谱密度为

$$S_Z(\omega )$$

  因为正交化后的U是归一化的，引起其功率谱密度是1，所以这个变化可以描述为

$$S_Z(\omega )|H(\omega ){|}^2=S_U(\omega )=1$$

  这里仍然存在问题。我们想求解用于正交化数据的传递函数。但是这里用的是功率谱，功率谱是二阶量，没有相位信息，只有幅度信息。从幅度得到相位本身就是个不适定的问题，因此我们在执行上存在实际的困难。

  为了解决这个问题，我们有其他手段，这个手段叫做谱分解。

  事实上，功率谱可以写做两部分

$$\begin{gathered} S_Z(\omega )\ge 0 \\ =S_Z^{(+)}(\omega )\ast S_Z^{(-)}(\omega ) \end{gathered}$$

  因为功率谱是个正数，因此可以拆分成两部分，这两个部分是互相共轭的。h取其中一个就行

$$H_1(\omega )=\frac{1}{S_Z^{(+)}(\omega )}$$

  证明如下
$$S_Z^{(+)}(\omega )=\overline{S_Z^{(-)}(\omega )}$$
$$\begin{gathered} S_Z(\omega )|H_1(\omega ){|}^2=1 \\ {S}_Z^{(+)}(\omega )\ast S_Z^{(-)}(\omega )\ast H_1(\omega )\ast \overline{H_1(\omega )}=1 \\ {S}_Z^{(+)}(\omega )\ast \overline{S_Z^{(+)}(\omega )}\ast H_1(\omega )\ast \overline{H_1(\omega )}=1 \end{gathered}$$

  因此
$$H_1(\omega )=\frac{1}{S_Z^{(+)}(\omega )}$$

    不过谱分解并不是唯一的。

3.2.4 求解

• 计算从U(t)到Y(t)的传递函数

  我们想知道U(t)到Y(t)的传递函数，但是我们并不知道怎么做。不过我们可以搭个桥。因为我们知道U(t)怎么到Z(t)，知道Z(t)怎么到Y(t)
$$U(t)\underrightarrow{h_1^{-1}}Z(t)\underrightarrow{h_0}Y(t)$$

  其中

$$\begin{gathered} H_1(\omega )=\frac{1}{S_Z^{+}(\omega )} \\ {H}_0=\frac{S_{ZY}(\omega )}{S_Z(\omega )} \end{gathered}$$

  因此

$$\begin{gathered} U(t)\to Y(t)=h^{-1}\ast h_0 \\ =S_Z^{+}(\omega )\ast \frac{S_{ZY}(\omega )}{S_Z(\omega )}=S_Z^{+}(\omega )\ast \frac{S_{ZY}(\omega )}{S_Z^{+}(\omega )\ast S_Z^{-}(\omega )}=\frac{S_{ZY}(\omega )}{S_Z^{-}(\omega )} \end{gathered}$$

• 将U(t)进行截断

  刚才我们得到了从U(t)估计Y(t)的传递函数，现在我们想对时间域进行截断。得到正半轴上估计的传递函数

  因为现在U(t)是完全正交的了，因此我们可以进行截断了。我们得到了(0,+∞)上的U(t)对Y(t)的估计

$$U(t)\to \widetilde{U(t)}$$

$$=>[\frac{S_{ZY}(\omega )}{S_Z^{-}(\omega )}{]}_{+}$$

  符号含义解释

$$[h{]}_{+}=\{\begin{array}{ll}h(t)& t\ge 0\\ 0& t<0\end{array}$$

• 把U(t)传递函数变成Z(t)的

  我们得到了(0,+∞)上的U(t)到Y(t)的传递函数，但是我们需要的是从Z(t)到Y(t)的

$$\begin{gathered} Z(t)\to Y(t) \\ =Z(t)\underrightarrow{h_1}U(t)\to Y(t) \end{gathered}$$

$$Z(t)\to Y(t)=>[\frac{S_{ZY}(\omega )}{S_Z^{-}(\omega )}{]}_{+}\ast \frac{1}{S_Z^{+}(\omega )}$$

  我们可以来看一下这个结果，如果对前一部分不取一半，得到的结果就是全时域下的维纳滤波器。

4. 小结

  这一部分，我们介绍了正交性。其实从因果维纳滤波可以看出来，如果我们用来估计的原材料是正交的，我们完全可以让每个原材料对估计值进行逼近，得到一个系数，然后最后把所有的逼近结果相加，就得到了最优线性估计。这才是正交性的魅力所在。

  就相当于我们要用桌子改凳子，其实最简单的方法就是把桌子拆成木块，一个个再重新拼装。正交化就是把复杂问题变成一个个的独立的子问题，然后解决了子问题之后相加，就可以得到原来的复杂问题的答案