Adaptive Filter Learning Notes 自适应滤波学习笔记06 Wiener滤波

这是一个学习笔记系列。为督促自己看书，尽量更新。但同时也在学其他东西，也不知道能不能实现。少玩耍，多读书。

应该会慢慢改进，会慢慢补充每一个部分的笔记。

啥是Wiener滤波，就是已知输入$u(n)$，输出$d(n)$，假设模型是$$y(n)=\sum _{k=0}^{M-1或\infty }{w}_k^{\ast }u(n-k)$$然后最小化$d(n)-y(n)$的方差求得$w_k$得到的滤波。

线性最佳滤波问题(Linear optimum filtering)

考虑这样一个问题，有一个黑盒，我们知道输入$u(n)$，知道输出$d(n)$，现在我们希望用一个离散时间的线性滤波器来拟合这个黑盒。假设这个线性滤波器的脉冲响应是$w_0,w_1,w_2.\dots$那么对这个线性滤波器输入 { u ( n ) } \{u(n)\} { u(n)}能得到输出$y(n)$。对比这个输出和我们想要的输出$d(n)$，我们可以定义估计误差(estimation error)$e(n)=d(n)-y(n)$。我们想要做的就是让估计误差在一些统计意义上尽可能小。

对应我们想要做的问题，有两点需要确定：

1. 线性滤波器的脉冲响应是有限的(FIR)还是无限的(IIR)？
2. “统计意义”该怎么选？

对于第一个问题，出于稳定性的考虑（以及IIR太难了）,一般选择有限的情况。对于第二个问题就有很多选择了，例如$\mathbb{E}[|e(n){|}^2]$，$\mathbb{E}[|e(n)|]$，$\mathbb{E}[|e(n){|}^k]$，而相比后两种，第一种在数学上更好处理，所以我们在这里选择第一种。

正交原则(Principle of orthogonality)

设$u(n)$，$d(n)$都是广义平稳过程，且均值为0。$$y(n)=\sum _{k=0}^{\infty }{w}_k^{\ast }u(n-k),n=0,1,2,\dots$$ $$e(n)=d(n)-y(n)$$ 代价函数为$$J=\mathbb{E}[|e(n){|}^2].$$
因为考虑的是复值的情况，所以假设$w_k=a_k+\mathrm{j}{b}_k$，令$${\nabla }_k=\frac{\partial }{\partial a_k}+\mathrm{j}\frac{\partial }{\partial b_k},k=0,1,2,\dots$$ 那么$\nabla J=[{\nabla }_{1}J,{\nabla }_{2}J,\dots ]$
对于代价函数，我们首先希望找到它的平衡点，${\nabla }_{k}J=0,k=0,1,2,\dots$
$$\begin{array}{rl}{\nabla }_{k}J& =\mathbb{E}\left[\frac{\partial e(n)}{\partial a_k}{e}^{\ast }(n)+\frac{\partial e^{\ast }(n)}{\partial a_k}e(n)+\frac{\partial e(n)}{\partial b_k}\mathrm{j}{e}^{\ast }(n)+\frac{\partial e^{\ast }(n)}{\partial b_k}\mathrm{j}e(n)\right]\\ & =\mathbb{E}\left[-u(n-k)e^{\ast }(n)-u^{\ast }(n-k)e(n)-u(n-k)e^{\ast }(n)+u^{\ast }(n-k)e(n)\right]\\ & =-2\mathbb{E}[u(n-k)e^{\ast }(n)].\end{array}$$所以我们希望得到$$\mathbb{E}[u(n-k)e_o^{\ast }(n)]=0,k=0,1,2,\dots$$ 这就是正交原则。由$y(n)$和$u(n)$的关系可以得到$\mathbb{E}[y_0(n)e^{\ast }(n)]=0$。引入记号$$\hat{d}(n|{\mathcal{U}}_n)=y_o(n)$$ ${\mathcal{U}}_n$表示输入信号截至到$n$所张成的空间。

最小均方误差

e o = d ( n