正交性原理与维纳霍夫（正则）方程

半截木头渡海洋

已于 2022-05-21 23:58:19 修改

阅读量1.2w

点赞数 10

分类专栏：数学基础文章标签：正交原理希尔伯特空间内积范数

于 2018-07-31 10:33:49 首次发布

本文链接：https://blog.csdn.net/ljl86400/article/details/81296843

版权

数学基础专栏收录该内容

16 篇文章 6 订阅

订阅专栏

有期望信号d（n），纯净信号x（n），以及噪声信号g（n）;

有滤波器h（m）,以及滤波器输出信号y（n），滤波器输出纯净信号x的估计值y，并且使y与x误差的期望为0.

$\begin{aligned} y(n)&=\sum_{m=0}^{\infty }h(m)\cdot d(n-m)\\&=\sum_{m=0}^{\infty }h(n-m)\cdot d(m) \\&=h(n)*d(n)\\\end{aligned}$

$d(n)=x(n)+g(n)$

$e(n)=x(n)-y(n)$

$E\left \{ \left | e(n) \right |^{2} \right \}$

$R_{xy}(m-j)=E\left \{ x(n-j)\cdot y(n-m) \right \}$ （相关性）

根据最小均方差准则设计滤波器,滤波器设计问题转为 $E\left \{ \left | e(n) \right |^{2} \right \}=E\left \{ \left ( x(n)-\sum_{m=0}^{\infty }h(m)\cdot d(n-m) \right )^{2} \right \}$ 函数求驻点的问题，在驻点处 $E\left \{ \left | e(n) \right |^{2} \right \}$ 能够取得极值，如果能证明该式有连续二阶偏导，且得到的hesse矩阵正定，则求取的极值点就是该式的严格局部极小值点，这实际上就是一个非线性规划中的无约束最优化问题，进一步如果能证明 $E\left \{ \left | e(n) \right |^{2} \right \}$ 是凸的，那么该式局部极小值就是全局极小值。h(j)为变量，函数对h(j)求偏导,当求偏导结果为0时候，均方差取得最小值，此时的滤波器权值为最优滤波器权值：

$\frac{\partial E\left \{ \left | e(n) \right |^{2} \right \}}{\partial h(j)}\\ =\frac{\partial E\left \{ (x(n)-h(n)*d(n))^{2} \right \}}{\partial h(j)}\\ =\frac{\partial E\left \{ x^{2}(n)-2x(n)\cdot h(n)*d(n)+\left (h(n)*d(n) \right )^{2}\right \} }{\partial h(j)}\\ =\frac{\partial E\left \{ x^{2}(n) \right \}}{\partial h(j)}-E\left \{ 2x(n)\cdot d(n-j) \right \}+2\cdot \left \{ \sum_{m=0}^{n}h(m)\cdot E(x(n-m)\cdot d(n-j)) \right \}\\ =0+2R_{dx}(j)-2\sum_{m=0}^{n}h(m)\cdot R_{dd}(j-m)\\ =2R_{dx}(j)-2h(j)*R_{dd}(j)$

当以上式子=0时，整理得到维纳霍夫方程：

$R_{dx}(j)=h(j)*R_{dd}(j)$

分别对等式两边进行傅里叶变换，将时域计算转到频域内处理，时域内的相关转到频域内表现为(互)功率谱，时域内的卷积转换到频域内表现为相乘：

$P_{dx}(\omega )=H(\omega )\cdot P_{dd}(\omega )$

整理得维纳滤波器权系数计算公式：

$H(\omega )=\frac{P_{dx}(\omega )}{P_{dd}(\omega )}$

同时注意到：

$\frac{\partial E\left \{ x^{2}(n)-2x(n)\cdot h(n)*d(n)+\left (h(n)*d(n) \right)^{2}\right \} }{\partial h(j)}\\ =\frac{E \partial \left \{ x^{2}(n)-2x(n)\cdot h(n)*d(n)+(h(n)*d(n)) ^{2}\right \} }{\partial h(j)}\\ =E\left \{ 0-2x(n)\cdot d(n-j)+2y(n)\cdot d(n-j) \right \}\\ =-2E\left \{ e(n)\cdot d(n-j) \right \}$

当上式=0时候，经过整理即得到正交性原理:当<e(n),x(n-j)>=0时候，均方差取得最小值

也就是说正交性原理与维纳霍夫方程是同一个条件 $E\left \{ \left | e(n) \right |^{2} \right \}=0$ 的两种表达方式，将求解的结果写成期望的形式得到的就是正交性原理，写成相关的形式就是维纳霍夫方程。

以上，我们虽然得到了维娜霍夫方程的表达形式。但是在设计维纳滤波器的过程中，目标信号x无法获取，因此就无法得到纯净信号x与期望信号d之间的相关向量，也就是说上述维娜霍夫方程是无法应用在实际信号处理过程之中的。对于这个问题我们可以通过使用替代的方法对以上方程进行改造。我们将纯净信号表示成期望信号d与噪声g的差值，同时我们假设纯净信号x与噪声g之间相互独立，这样我们就能将期望信号d与纯净信号x之间的相关性重新表示如下：

$R{_d_x} = E[d(n)x(n)]\\ = E[d(n)*[d(n)-g(n)]]\\ = E[d(n)d(n)] - E[[x(n)+g(n)]*g(n)]$

因为 x与g相互独立，所以Rxg = 0，带入上式

$R{_d_x} = E[d(n)*d(n)]-E[g(n)*g(n)]\\=R{_d_d}-R{_g_g}$

重新整理维纳霍夫方程，得到如下形式：

$R_{dd} - R_{gg}=h(j)*R_{dd}(j)$

重新整理维纳滤波器的形式

$H(\omega )=\frac{P_{dd}(\omega )-P_{gg}(\omega )}{P_{dd}(\omega )}$

根据公式可以看出，维纳滤波器的系数在特定条件下（滤波器的输入纯净信号与输入的噪声不想关）可以通过输入的期望信号d和噪声功率完全获得，而且噪声可以通过设置前端无语音段的平均功率作为初始条件然后在每一次处理过程中迭代获得。

概念补充：

希尔伯特空间：属于泛函分析的核心概念，是一个满足多项式计算法则、具有范数概念（距离的一个子概念）、满足内积运算，并具有完备性（空间内的极限运算结果仍落在空间范围内）特点的特殊空间。

一个抽象的希尔伯特空间中的元素往往被称为向量，这个希尔伯特空间则可以代表一个系统，每个希尔伯特空间内都有一族标准正交基，空间内的任何元素都可以用这族标准正交基或其倍数的和表示。

希尔伯特空间元素：

$a= \left ( a1,a2,...,an \right )$

希尔伯特空间元素：

$b=\left ( b1,b2,...,bn \right )$

两元素的内积：

$\left \langle a,b \right \rangle=a\cdot b^{T}=a1\cdot b1+a2\cdot b2+...+an\cdot bn$

同时，如果<a,b> = 0,则认为元素a与元素b正交。

a的范数（类似于线性空间中的距离定义）

$\left \| a \right \|=\sqrt{\left \langle a,a \right \rangle}$

正交性原理：当<e, $\eta_{i}$ > = 0时候，由 $\eta_{i}$ 估计出来的 $\hat{\xi }=\sum a_{i}\cdot \eta _{i}$ 与原来的 $\xi$ 值之间的均方误差e最小。

关于共轭的一个小知识点：

若 $X_{n}\cdot Y_{n}^{*}=0$ ，则 $X_{n}^{*}\cdot Y_{n}=0$ （知识点1）

$X_{n}=\left | a \right |\cdot e^{j\theta_{1}}$

$Y_{n}=\left | b \right |\cdot e^{j\theta _{2}^{}}$

$X_{n}\cdot Y_{n}^{*} =\left | a\cdot b \right |\cdot e^{j\left ( \theta _{1} -\theta _{2}\right )} =\left | a\cdot b \right |\cdot cos(\theta _{1}-\theta _{2})+\left | a\cdot b \right |\cdot sin(\theta _{1}-\theta _{2})\cdot j$

$X_{n}^{*}\cdot Y_{n} =\left | a\cdot b \right |\cdot e^{j\left ( \theta _{2} -\theta _{1}\right )} =\left | a\cdot b \right |\cdot cos(\theta _{2}-\theta _{1})+\left | a\cdot b \right |\cdot sin(\theta _{2}-\theta _{1})\cdot j$